历史上的今天
今天是：2025年03月09日（星期日）
2021年03月09日 | IBM四核7nm AI加速器芯片可让训练/推理效率大增
2021-03-09 来源：网络整理
最近，IBM透露了其全球首个四核的发展AI加速器采用7nm MOSFET技术。IBM开发的新芯片使用超低精度混合8位浮点算术单元在训练过程中使用，在推理(即执行AI)过程中使用4位。
在典型的计算系统中，增加位宽可以提高计算能力并访问更多内存。但是，AI通常容忍低精度，并且系统的位宽越大，所需的内存就越多。因此，人工智能系统的开发人员经常尝试尽可能地减少位宽，而IBM的新型四核AI加速器将推理精度降低到了4位。
最终的四核AI加速器实现了80%以上的利用率在训练期间(即正在使用多少处理器)，以及在推理期间超过60%，明显优于通常低于30%的GPU性能。此外，IBM还集成了独特的电源管理系统，该系统通过在执行大量计算任务时降低时钟频率来降低加速器的功耗。
对比结果显示，IBM 新款 7nm 高能效 AI 芯片的性能和能效，不同程度地超越了 IBM 此前推出的 14nm 芯片、韩国科学院（KAIST）推出的 65nm 芯片、阿里巴巴旗下芯片公司平头哥推出的 12nm 芯片含光 800、NVIDIA 推出的 7nm 芯片 A100、联发科推出的 7nm 芯片。
IBM 新款 7nm 高能效 AI 芯片支持 fp8、fp16、fp32、int4、int2 混合精度。
在 fp32 和 fp8 精度下，IBM 新款高能效 AI 芯片的每秒浮点运算次数，分别达到 16TFLOPS 和 25.6TFLOPS ；运算密度分别为 0.82TFLOPS/mm^2 和 1.31TFLOPS/mm^2；能效比分别为 3.5TFLOPS/W 和 1.9TFLOPS。
在 int2 和 int4 精度下，IBM 新款高能效 AI 芯片的运算密度分别为 3.27TOPS/mm^2 和 5.22TOPS/mm^2；能效比分别为 16.5TOPS/W 和 8.9TOPS/W。
对比之下，IBM 此前推出的 14nm 芯片在 fp32 和 fp8 精度下的每秒浮点运算次数，分别为 2TFLOPS 和 3TFLOPS；在在 fp32 精度下的能效比为 1.4TFLOPS/W。
另外，在 7nm 芯片阵营中，NVIDIA A100 GPU 在 fp16 精度下的能效比为 0.78TFLOPS/W，在 int4 精度下的能效比为 3.12TOPS/W，均低于 IBM 新款高能效 AI 芯片。
IBM 官网文章写道，其新款 AI 芯片之所以能够兼顾能效和性能，是因为该芯片支持超低精度混合 8 位浮点格式（(HFP8，hybrid FP8）。这是 IBM 于 2019 年发布的一种高度优化设计，允许 AI 芯片在低精度下完成训练任务和不同 AI 模型的推理任务，同时避免任何质量损失。
据悉，目前 IBM 将超低精度混合 8 位浮点格式用于训练、超低精度混合 4 位浮点格式用于推理，并开发了数据通信协议，以提升多核心 AI 芯片上不同核心间的数据交换效率。
据 IBM 官网文章，自 2015 年起，该公司每年将芯片的功耗性能提升 2.5 倍。这背后，IBM 致力于实现算法、架构、软件堆栈等各方面的创新。
在传统处理器上运行AI任务非常耗电，对内存的要求很高，并且整体效率极低。然而，事实证明，在受影响的行业所有领域中，日常应用中的AI应用都具有不可思议的优势。
尽管固定计算系统可以继续负担在高性能CPU和GPU上运行AI算法的费用，但嵌入式世界通常不得不依靠基于云的计算来执行AI算法。 这种远程计算的结果使人们越来越关注隐私，对互联网基础架构的额外压力以及请求和响应之间的长时间延迟。
诸如IBM开发的AI加速器，不仅允许嵌入式应用程序在本地运行AI，而且能够高效地运行。此外，在本地运行AI通过将潜在的敏感信息保留在设备本地来改善对隐私的关注，并减少延迟。AI加速器的使用还将导致低功率设备中的实时AI响应，这是当前无法实现的。
史海拾趣
|
请问论坛里面的各位朋友： 需要用il300-b dip-8 vishay这个芯片。不知道谁有，能不能给发一份。着急用； 电子邮件地址是：872310481@sina.com… 查看全部问答＞ |
|
谁有AT24C1024的中文资料啊？ AT24C1024和AT24C256只是容量不一样吗？能不能互换啊？ 谁有的话给我一份吧，谢了，邮箱：dotor100@163.com。… 查看全部问答＞ |
|
本文介绍了一款采用PIC16F74单片机作为微处理芯片的电动按摩椅控制系统，具体包括有系统的组成和功能介绍、硬件电路的设计、软件功能实现以及抗干扰措施。 1：引言 随着我国经济的迅速发展和人们生活水平的不断提高，按摩椅等保健产 ...… 查看全部问答＞ |
|
对于LDR R1,=0x245这条伪指令，会被编译器自动转换为两条指令： 第一条是为0x245这个值在内存中分配一个地址 第二条是LDR R1,[Rn]（Rn即为0x245这个值分配的地址） 我想请问，如果我使用两条指令： MOV R1,#0x240 ADD R1,R1,#0x5 同样也能够 ...… 查看全部问答＞ |
|
最近在研究U盘过滤驱动，需要读取U盘扇区。 我用WriteFile向U盘第二个扇区写入一个标识，是我自己生成的一个序列号。 但是随后我用DDK读取第二个扇区时没有读取到这个标识。 然后我用DDK直接向U盘扇区写入一个标识，再用DDK读取时能读取到。 我 ...… 查看全部问答＞ |
|
刚买了TC35开发板，系统是win 7的，配套的测试程序不能用 那位朋友有TC35Test程序啊，适合win 7的 394397573@qq.com 谢谢… 查看全部问答＞ |
|
单位最近买了如题主板一块，配置：2G内存+4G SD卡。主频1.6Ghz。 我们先装了个XP精简版的，显然有点大材小用了，我感觉像这种配置的工控 主板是不是装个嵌入式系统比较好呢？ &nb ...… 查看全部问答＞ |