历史上的今天
今天是：2025年01月15日（星期三）
2021年01月15日 | 神经网络芯片能耗高，电阻性RAM来帮忙
2021-01-15 来源：半导体行业观察
一款理想的神经网络芯片是什么样的？按照工程师的说法，最重要的是在芯片本身上拥有大量的存储空间。这是因为数据传输（从主内存到处理器芯片）通常消耗最多的能量，并且会产生大部分的系统滞后，即使与AI计算本身相比也是如此。
有鉴于此，Cerebras Systems通过制造一台几乎完全由一个包含18 GB内存的大型芯片组成的计算机，解决了这些问题（统称为内存墙）。
但是法国，硅谷和新加坡的研究人员提出了另一种方法。
一家称为Illusion的公司使用在硅逻辑之上构建的3D堆栈中使用由电阻性RAM存储器构建的处理器来执行相关操作，因此花费很少的精力或时间来获取数据。
仅凭其本身，还不够，因为神经网络的规模越来越大，无法容纳在一个芯片中。因此，该方案还需要多个此类混合处理器以及一种算法，该算法既可以智能地对处理器之间的网络进行分割，还可以知道何时在闲置时迅速关闭处理器。
在测试中，八芯片版本的Illusion的能耗和延迟约为“理想”处理器的3-4％，该处理器在一块芯片上具有所有需要的内存和处理能力。
该研究团队（其中包括来自法国CEA-Leti研究实验室，Facebook，新加坡南洋理工大学，圣何塞州立大学和斯坦福大学的贡献）受到了神经网络规模不断扩大这一事实的推动。
负责这项研究的斯坦福大学电气工程和计算机科学教授Subhasish Mitra说：“从某种意义上讲，这种理想的芯片永远无法使用，因为它是一个不断发展的目标。” 他说：“神经网络变得越来越快，其速度超过了摩尔定律。”
因此，他们设法设计一种系统，使它实际上是由多个混合处理器组成，它也会产生一个带有大量片上存储器的单个处理器的错觉（illusion），因此他们将其命名为为项目名）。这样，Illusin就可以轻松扩展以适应不断增长的神经网络。
Mishra解释说，这样的系统需要做到三件事：
首先是芯片上的大量内存，可以快速访问而几乎不消耗能量。这就是集成3D的RRAM发挥功效的地方。他们选择了RRAM，“因为它是密集的，3D集成的，并且可以在掉电状态下快速访问，并且因为它在断电时不会丢失数据， ” 斯坦福大学电气工程学教授，该项目的合作者Philip Wong说。
但是RRAM确实有一个缺点。像Flash存储器一样，它被覆盖过多次后就会损耗。在Flash中，软件会跟踪每个存储单元块发生了多少次覆盖，并试图保持该数量，即使在芯片中的所有单元中也是如此。斯坦福大学理论计算机科学家 Mary Wootters 领导团队为RRAM发明了类似的东西。结果称为Distributed Endurer，这增加了确保写入时的磨损甚至跨越多个芯片的负担。
即使使用Endurer混合RRAM和处理器芯片，但强大的神经网络（例如当今使用的自然语言处理器）仍然太大，让我们无法将其容纳在一个芯片中。然而使用多个混合芯片意味着在它们之间传递消息，消耗能量并浪费时间。
Illusion团队的解决方案是其技术的第二部分，其解决方案是以使消息传递最小化的方式来切割神经网络。神经网络本质上是一组计算发生的节点以及连接它们的边。每个网络将具有某些节点或节点的整个层，它们具有大量的连接。
但是网络中也将存在阻塞点，即在节点之间必须传递少量消息的地方。在这些阻塞点上划分大型神经网络，并将每个部分映射到单独的芯片上，可确保从一个芯片到另一个芯片的数据传输量最少。Mitra说，Illusion映射算法“自动识别切割神经网络的理想位置，以最小化这些消息。”
但是像这样切割的东西有其自身的后果。
不可避免地，一种芯片会先于另一种芯片来完成其业务，这会拖延系统并浪费功耗。其他尝试运行超大型神经网络的多芯片系统，则以使所有芯片持续忙碌的方式来划分网络，但这是以在它们之间传输更多数据为代价的。
在第三项创新中，Illusion团队决定设计混合处理器及其控制算法，以便可以快速关闭和打开芯片。因此，当芯片等待工作时，它不会消耗任何功耗。
Mishra说，CEA-Leti的3D RRAM技术是制造3D SoC的关键，该SoC可以在几个时钟周期内完全关闭并重新启动而不会丢失数据。
该团队构建了八芯片版本的Illusion，并在三个深度神经网络上进行了测试。这些网络远不及当前正在计算机系统运行的网络的规模，因为每个Illusion原型仅为神经网络数据保留了4 KB的RRAM。他们测试过的“理想芯片”实际上是一个模仿了完整神经网络执行的illusion 芯片。
8片幻觉系统能够在理想芯片能耗的3.5％和2.5％的执行时间内运行神经网络。Mitra指出，该系统可以很好地扩展。有4 GB RRAM的64芯片illusion 方案的仿真也接近理想。
“我们已经展开了新的更强大的原型设计”，斯坦福大学的研究生Robert Radway说。他们也将其发表在本周的自然电子上。与原型相比，下一代芯片将具有更大数量级的内存和计算能力。虽然第一代经过了推理的测试，但下一代将用于训练它们，这是一项艰巨的任务。
“总的来说，我们认为illusion 对未来技术具有深远的影响，” Radway说。“它为技术创新开辟了广阔的设计空间，并为未来的系统创造了新的扩展途径。”
史海拾趣
|
【IT168 服务器频道】本文向您介绍了工作负载分区（WPAR），这个 AIX 6 的新功能，它是一个通过纯软件实现虚拟化的技术。通过 WPAR 可以实现新一级别的 AIX 虚拟化功能，它补充现有的虚拟化功能的不足，实现了在不修改应用程序代码的情况下，在 ...… 查看全部问答＞ |
|
关于红外的些小想法,由来已久,正值五一放假来临之际,随便写写,有些想法是公司由来已久,有些是同事告知,有些是在同行那儿收集,现在,趁这个五一放假而有小小空时,在自己喜爱的千家上,写一下关于红外的随笔,希望能得到行家的指正; & ...… 查看全部问答＞ |
|
看了一段时间BIOS。从周立功BSP下的eboot到优龙的BIOS，问过不少弱智问题（通常是我自己没有找到就说XXX很奇怪就来问），幸好有eeworld前辈指点，我才慢慢积累经验。优龙的BIOS我已经了解大概，在功成身退之时拿出来分享，免得以后有人走弯路。 == ...… 查看全部问答＞ |
|
这是我的一些Xilinx的FPGA的论文，传上来给大家分享一下！大家多多支持啊！ 我会分批上传，方便大家选择性的交流与下载！… 查看全部问答＞ |
|
各位大侠！小弟自己搭了一块LM3S9L97板子，现在调到CAN模块遇到了点不懂的问题请教一下， TX 就是在初始化过后然后设置ID和数据什么的 g_sCANMsgObject1.ulMsgID = 0x1001; //CAN报文ID ...… 查看全部问答＞ |
|
网上找了很多资料，关于单步调试的资料不多，能不能推荐些资料。 单步调试时，17-19行是每步执行一行，但到20行时，跳到24行，要三步才能跳出24行，为什么要三步呢？… 查看全部问答＞ |
|
【PSoC4心得】温度模拟测试箱 ----> 阅读资料，了解篇 非常意外，突然多了一个第三批，偶还排在最后，看起来，我还是那个最后溜进名单的。 然后随之被抓进 PSoC4群，大家都在说，板子怎么还没到。 不过我倒是不太关心这个事情，因为一个实际的工程项目总是会遇到各种意外延迟，阻隔，这种事情我再熟悉不 ...… 查看全部问答＞ |