历史上的今天
今天是：2025年07月22日（星期二）
2021年07月22日 | NVIDIA从云端到边缘在推理方面取得突破实现对话式AI
2021-07-22 来源：EEWORLD
NVIDIA在推理方面取得突破，从云端到边缘实现更智能、更具互动性的对话式AI
TensorRT 8为医疗、汽车和金融领域的领先企业提供全球最快AI推理性能
加利福尼亚州圣克拉拉，太平洋时间2021年7月20日——NVIDIA于今日发布公司第八代AI软件TensorRT™ 8。该软件将语言查询推理时间缩短了一半，使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。
TensorRT 8的各项优化为语言应用带来了创纪录的速度，能够在1.2毫秒内运行BERT-Large——全球最广为采用的基于transformer的模型之一。过去，企业不得不缩减模型大小，而这会导致结果出现大幅偏差。现在有了TensorRT 8，企业可以将其模型扩大一倍或两倍，从而大幅提高精度。
NVIDIA开发者计划副总裁Greg Estes表示：“AI模型正以指数级的速度增长。全世界对AI实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的TensorRT引入了多项新功能，使企业能够以前所未有的质量和响应速度向其客户提供对话式AI应用。”
五年来，医疗、汽车、金融和零售等各个领域27,500家企业的超35万名开发者下载TensorRT近250万次。TensorRT可部署于超大规模数据中心、嵌入式或汽车产品平台。
最新推理创新
除了针对transformer的优化之外，TensorRT 8还通过其他两项关键特性，实现了AI推理方面的突破。
其一是稀疏性，这是助力推动NVIDIA Ampere架构GPU性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。
其二是量化感知训练，开发者能够使用训练好的模型，以INT8精度运行推理，在这一过程中不会损失精度。这大大减少了计算和存储成本，从而在Tensor Core核心上实现高效推理。
广泛的行业支持
行业领导者已将TensorRT用于他们在对话式AI和其他各个领域的深度学习推理应用。
Hugging Face是开源AI技术的领导者，其客户包括全球多个行业领域的大规模AI服务提供商。该公司正与NVIDIA开展密切合作，推出能够助力实现大规模文本分析、神经搜索和对话式应用的开创性AI服务。
Hugging Face产品总监JeffBoudier表示：“我们正在与NVIDIA开展密切合作，以基于NVIDIA GPU，为最先进的模型提供最佳性能。Hugging Face加速推理API已经能够为基于NVIDIA GPU的transformer模型提供高达100倍的速度提升。通过TensorRT 8，Hugging Face在BERT上实现了1毫秒的推理延迟。我们十分期待能在今年晚些时候为我们的客户提供这一性能。”
全球领先的医疗技术、诊断和数字解决方案创新者GE医疗正在使用TensorRT，助力加速早期检测疾病的关键工具——超声波计算机视觉应用，使临床医生能够通过其智能医疗解决方案提供最高质量的护理。
GE医疗心血管超声首席工程师Erik Steen表示：“临床医生需要花费宝贵的时间来选择和评估超声图像。在Vivid Patient Care Elevated Release项目的研发过程中，我们希望通过在Vivid E95扫描仪上实施自动心脏视图检测，使这一过程变得更加高效。心脏视图识别算法将选择合适的图像来分析心壁运动。TensorRT凭借其实时推理能力，提高了视图检测算法的性能，同时缩短了我们研发项目的产品上市时间。”
可用性
TensorRT 8现已全面上市，并免费向NVIDIA开发者计划成员提供。用户还可从TensorRT GitHub库中获得最新版本插件、解析器和样本的开放源代码。
关于NVIDIA
NVIDIA 在1999年发明的GPU激发了PC游戏市场的增长，重新定义了现代计算机显卡、高性能计算和人工智能。公司在加速计算和人工智能领域的创新研究成果正在改变交通运输、医疗、制造等万亿美元级行业，并推动许多其他行业的发展。
史海拾趣
|
直流无刷电机由于节省原材料，可靠性好，使用寿命长等显著优点，正在替代直流有刷电机来用作电动自行车的动力驱动。与有刷电机不同，直流无刷电机需要位置传感器来测量转子的位置。电机控制器通过接受位置传感器信号来让逆变器换相与转子同步来驱动 ...… 查看全部问答＞ |
|
中国已经成为世界制造中心，在城市进入“后工业”阶段后，制造业对物流服务的依赖性更加突出。物流业又是实现物流运作一体化、信息化的新兴产业，其发展水平已成为衡量一个国家和地区现代化程度和综合竞争能力的重要标志之一。目前，关于制造业物流 ...… 查看全部问答＞ |
|
我使用USB蓝牙适配器，系统是CE 5.0，CPU是2410 在内核中加入了与蓝牙有关的所有特征。 但现在在控制面板中双击蓝牙属性后，点扫描设备，弹出10050错误，提示找不到设备 各位大侠是否知道这里还有哪些地方需要设置和调整 还是说CE对于USB蓝牙挑 ...… 查看全部问答＞ |
|
smdk2410_config : unconfig @$(MKCONFIG) $(@:_config=) arm arm920t smdk2410 NULL s3c24x0 我看网上有一个解释如下： 当我们执行：make smdk2410_config的时候，首先执行： smdk2410_config : unco ...… 查看全部问答＞ |
|
AVR单片机atmega128中文资料（附带CTCPWM波频率可调） #include #include char Counter = 0; // ¼Æêy±äá¿Çåáã void port_init() { DDRB=0x10; //PB3ÅäÖÃÎaêä3ö￡¨Îa1ê±ó ...… 查看全部问答＞ |