历史上的今天
返回首页

历史上的今天

今天是:2025年01月07日(星期二)

正在发生

2021年01月07日 | 神经形态处理器架构能否掀起新浪潮?

2021-01-07 来源:半导体行业观察

根据技术专家的说法,是Carver Mead在Gordon Moore于1965年在Electronics Magazine发表了具有里程碑意义的文章“将更多的元件塞入集成电路”十年后,创造了“摩尔定律”一词。在接下来的数十年里,该文章概述的规律改变了世界——即每两年左右,半导体公司将能够在单个半导体芯片上制造的晶体管数量翻一番。 

 
晶体管的每两年翻倍最显着地带来了计算能力的更快指数增长。除了从摩尔定律中获得更多的晶体管之外,我们还获得了更快,更便宜,更节能的晶体管。所有这些因素共同使我们能够构建更快,更复杂,性能更高的计算设备。
 
到1974年,Robert Dennard观察到,由于随着工艺几何尺寸的减小,密度,速度和能量效率的三倍提高,计算的功率效率将甚至快于晶体管数量。这种被称为“ Dennard Scaling”的趋势在我们身边已经存在了大约三十年,而计算性能(更重要的是,功率,事实证明)推动了前所未有的指数级改进。
 
所有这些计算能力的改进都建立在John Von Neumann等人于1945年开发的冯·诺伊曼处理器体系结构的基础上,在未完成的报告“ EDIMAC报告的初稿”中有记录。具有讽刺意味的是,历史上最令人印象深刻的技术革命是建立在一个半世纪前未完成的设计之上的。随着摩尔定律时代数字计算领域的所有显着进步,如今已有75年历史的基本计算体系结构基本上保持不变。
 
冯·诺依曼架构仅仅是进行计算的最佳方法吗?当然不是。用Winston Churchill的话来说,Von Neumann是除了其他所有架构之外,最糟糕的计算架构。VonNeumann的优点在于它的灵活性和面积效率。它可以处理几乎任何任意复杂的应用,而无需处理器根据问题的大小来扩展晶体管的数量。 

在过去,在将如此多的元件塞入集成电路之前,冯·诺依曼的架构效率非常重要。我们可以用很少的晶体管构建4位,8位或16位的冯·诺依曼处理器,并以可接受的速度运行大型应用。但是随着摩尔定律的出现,晶体管正逐渐接近零成本。因此,由于可用晶体管的数量几乎是无限的,因此用较少数量的晶体管构建处理器的价值就大大下降了。

同时,即使摩尔定律全力以赴,从每个先进节点提取的值也有所减少。Dennard Scaling在2005年左右结束,这迫使我们从建造更大/更快的冯·诺依曼处理器转向制造“更多的”冯·诺依曼处理器。这场比赛使更多的内核挤满了集成电路,Von Neumann到多核的可扩展性带来了自己的局限性。

更让人难过的是,摩尔定律并没有继续蒸蒸日上。最近几个制程节点中的每一个节点实现的成本成倍增加,并且实际收益却成比例地减少。这导致的结果是,即使从技术上讲,我们应该能够制造更多代的更密集的芯片,但是这样做的成本/收益比却使其吸引力越来越小。
 
现在,我们需要摩尔定律以外的其他驱动因素来保持技术进步的步伐。
 
显然,作为单一的全部计算架构,冯·诺依曼也到了将要寿终正寝的时候。最近的AI革命加速了Von Neumann替代产品的开发。AI,特别是用卷积神经网络完成的AI,是一个难以置信的计算密集型计算,这是个特别不适用于Von Neumann的应用。这就使我们开始从大型的同类计算元素阵列转移到了包括冯·诺依曼方法和非冯·诺依曼方法在内的异构元素的复杂配置。 
 
神经形态架构是最有前途的非冯·诺依曼人工智能方法之一。
 
在1980年代后期,Carver Mead(是的,据说是“摩尔定律”的创造者是同一个人)观察到,在当时的发展路线上,冯·诺依曼处理器所消耗的能量比人脑进行相同计算所用的能量高出数百万倍。他的理论是,可以通过模拟人脑的神经元结构来构建更有效的计算电路。Mead用晶体管电流模拟了神经元离子流,并基于该思想提出了后来被称为神经形态计算的方法。
 
当时,神经形态计算可视为一种模拟事件,神经元以不断变化的电压或电流相互触发。但是,世界在优化数字设计的二进制世界的道路上坚定不移。模拟电路无法像数字指数那样进行缩放,因此神经形态计算的发展超出了摩尔定律的主流轨道。 
 
但是,现在情况发生了变化。 
 
从长远来看,我们看到大多数模拟功能都包含在数字逼近中,神经形态处理器已通过所谓的“尖峰神经网络”(SNN)实现,该神经网络依赖于每个神经元的单个峰值来激活神经元下方的神经元链。这些网络是完全异步的,激活而不是发送值取决于尖峰的时间。使用这种技术,利用了当前最先进的批量CMOS数字技术,实现了神经形态处理器。这意味着神经形态结构最终可以从摩尔定律中获得收益。结果,已经构建并测试了几种实用的神经形态处理器,其结果令人印象深刻且令人鼓舞。
 
我们大约在两年前报道的一个示例是Brainchip的Akida神经形态处理器,该开发板已于2020年12月上市。Brainchip声称其设备的功耗比传统的基于CNN的解决方案低90%至99%。据我们所知,这是进入广泛的商业市场的首批神经形态技术之一,潜在的应用前景是巨大的。
 
Brainchip提供了其技术的IP版本和SoC以及在硅片中的完整实现。几乎所有可以利用“边缘”人工智能的系统都可以从此类节能中受益,并且通常可以在做与不做边缘人工智能之间做出区别。
 
同样在2020年12月,英特尔提供了其名为Loihi的神经形态研究测试芯片以及它们的“英特尔神经形态研究社区(INRC)”的最新信息,这两者也在两年前宣布。Loihi在包括语音命令识别,手势识别,图像检索,优化和搜索以及机器人技术在内的广泛应用中,已将能源效率进行了基准测试,其能耗比CPU和GPU高30-1,000倍,并且快100倍。同样重要的是,与基于CNN的系统形成鲜明对比的是,该体系结构使自己能够进行快速且持续的学习,而基于CNN的系统往往会经历紧张的训练阶段,该阶段会创建静态的推理模型。英特尔表示,他们正在寻求将能效提高1000倍,将性能提高100倍, 
 
并非所有问题都会转向神经形态,很适合今天的深度学习技术的算法是显而易见的赢家。英特尔还在评估“受神经科学启发”的算法,该算法可模拟大脑中发现的过程。最后,他们正在研究“数学公式化”的问题。
 
在第一类中,从当今的深度神经网络(DNN)转换而来的网络可以转换为神经形态芯片可用的格式。另外,可以使用神经形态处理器本身创建“直接训练”的网络。最后,尽管在神经形态处理器中需要进行全局通信,但在神经形态处理器中可以模拟CNN中常见的“反向传播”。
 
Loihi是研究芯片,并非为生产而设计。它是一款采用英特尔14纳米CMOS工艺制造的20亿晶体管晶体管芯片。Loihi包含一个完全异步的“神经形态多核网格,它支持广泛的稀疏,分层和递归神经网络拓扑,每个神经元都能够与数千个其他神经元进行通信。” 这些核心中的每一个都包括一个学习引擎,该引擎在操作期间会调整参数。该芯片包含130,000个神经元和1.3亿个突触,分为128个神经形态核心。该芯片包括用于SNN芯片培训的微码学习引擎。Loihi芯片已经集成到板和盒中,在768个芯片中包含多达1亿个神经元。 
 
现在,我们处于许多趋势的交汇处,这些趋势可能会形成处理器架构革命的完美风暴。首先,神经形态处理器处于商业可行性的拐点处,它们为某些问题带来了相当于10个摩尔定律节点(20年)的进步。
 
其次,传统的DNN正在迅速发展,并且产生了与神经形态处理器中发现的相关的和相似的架构创新,这表明可能在未来的“两全其美”的架构中融合两种架构领域的特征。
 
第三,摩尔定律即将结束,这将更多的重点,才能和金钱投入到建筑方法的发展中,以推动未来的技术进步。
 
第四, 随着这些神经形态处理器中的第一个获得商业关注并创造出投资,开发,完善和部署的良性循环,这将是有趣的。可能在几年内,神经形态架构(或类似的衍生技术)将在我们的计算基础架构中扮演重要角色,并迅速发展到今天只能想象的最前沿的新应用程序。


推荐阅读

史海拾趣

GE Power Electronics Inc公司的发展小趣事
在教育产品中引入声控技术,可以设计出声控故事机、声控学习机等,帮助儿童在玩耍中学习知识。
Electronic Concepts Inc公司的发展小趣事

随着公司规模的不断扩大,ECI越来越重视团队建设。公司高层认识到,一个团结、高效的团队是企业持续发展的关键。在人力资源部经理刘女士的策划下,ECI开展了一系列团队建设活动,如拓展训练、员工分享会等。这些活动不仅增强了员工的凝聚力,也提升了员工的工作效率和创新能力。

ETA Electric Industry Co Ltd公司的发展小趣事

随着技术实力的增强,ETA Electric Industry Co Ltd开始积极拓展国内外市场。他们参加了多个国际电子展会,与世界各地的潜在客户建立了联系。同时,公司还加强了与国内外大型电子企业的合作,为其提供定制化的解决方案。这些举措极大地提升了公司的知名度和市场份额,为公司的快速发展奠定了基础。

上海双岭电子(Double-peak)公司的发展小趣事

上海双岭电子自成立以来,一直致力于场效应半导体器件的研发和生产。在成立初期,公司面临着技术瓶颈和市场竞争的双重压力。然而,双岭电子的创始人团队凭借对技术的执着追求和对市场的敏锐洞察,成功研发出具有自主知识产权的结型场效应晶体管,并迅速在航空、通讯等领域打开了市场。这一创新不仅为公司带来了丰厚的利润,也奠定了双岭电子在电子行业中的领先地位。

ELMOS公司的发展小趣事

近年来,中国市场对汽车电子产品的需求不断增长,为ELMOS提供了广阔的发展空间。为了抓住这一发展机遇,ELMOS不断加大在中国的投入力度,扩大其在中国市场的规模和影响力。通过与国内汽车制造商和合作伙伴的深入合作,ELMOS在中国市场取得了显著的成果,并为公司未来的持续发展奠定了坚实的基础。

以上五个故事分别从不同角度展示了ELMOS公司在电子行业中的发展历程和成就。这些故事不仅体现了ELMOS的技术实力和市场竞争力,也展示了公司在全球化和国际化方面的努力和成果。

Gaomi Xinghe Electronics公司的发展小趣事

背景:在电子产品市场竞争日益激烈的背景下,Galaxy深知技术创新和品质提升的重要性。为了进一步提升产品性能,公司决定寻求与行业顶尖厂商的合作。

行动:Galaxy与瑞士著名散热器厂商“Arctic Cooling”建立了战略合作伙伴关系,共同推出了备受瞩目的影驰GeForce6系列产品。这款产品在散热性能上实现了重大突破,为用户带来了更加稳定、高效的使用体验。

成果:凭借出色的性能和口碑,影驰GeForce6系列产品迅速在市场上走红,不仅巩固了Galaxy在显卡市场的领先地位,还极大地提升了公司在行业内的影响力。

问答坊 | AI 解惑

DSP和FPGA在汽车电子中的广泛应用

1 引言   20世纪末,全球范围内兴起的信息革命浪潮,为汽车工业的突破性发展提供了千载难逢的机遇,信息技术的广泛应用是解决汽车带来的诸如交通拥挤、交通安全、环境污染、能源枯竭等问题的最佳途径。同时,随着汽车电子技术的发展,电子组件 ...…

查看全部问答>

qtopia中文支持问题

一,怎么汉化应用程序? 二,IE上显示乱码,怎么解决啊?主要还是不支持中文的缘故.…

查看全部问答>

什么样的汽车可以令我们感到温暖

身边有车的朋友越来越多,汽车已经成为许多中国人离开住所后最先进入的地方,这样看来,把汽车称作一个可以把人们护送到目的之地的“移动之家”亦不为过。人们希望在自己的家庭中感受到安全、温暖、舒适,愉快;推广开来,在离开家门进入爱车的时刻 ...…

查看全部问答>

关于电子设计工程师职业和前景的疑问

本帖最后由 paulhyde 于 2014-9-15 09:01 编辑 我是一名电子信息工程专业的大四学生,开学后马上要面临考研和工作的问题。 在假期经过几天的考虑,我觉得目前相对考研,如果先工作的话似乎能在两年的时间里学到更多贴近实际的知识和技术,到那时 ...…

查看全部问答>

wince6.0中IIC中的中断和查询方式

各位, 在wince6.0中,中断方式和查询方式有什么不同? 读EEPROM和摄像头一般是用什么方式? 在注册表里也有个默认的方式设置。 ;------------------------------------------------------------------------- ;------------ I2C Bus Driver - ...…

查看全部问答>

SetTimer()总是返回0,不能使用是为什么?

........ case VK_LEFT:                         FtpThread();                         ReadTIFile(); ...…

查看全部问答>

非常奇怪的WINCE启动后现象

终于系统和BIOS都跑起来了!其他都正常,但是WINCE启动后,桌面右键点击后或出现右键的弹出菜单“刷新、新建等”,当出现这个菜单后不对系统做任何动作,大约30S后,发现菜单的焦点会不断从上滚动到下,速度很快,感觉好像使用了键盘下键,几秒钟 ...…

查看全部问答>

sim300联网问题

我做了块SIM300的GPRS的模块,遇到下述问题:     连接UDP可以正常连接,而且也能正确收发数据。但是TCP链接不上,用PC机的串口操作如下所示:     UDP操作       1. AT       2. ...…

查看全部问答>

VS.NET 出错

我的系统配置: XP SP2, VS.NET 2005 team suite /w SP1, eVC4+SP4, PB5.0, CE 6.0, WM 5.0 SDK 现在VS.NET 2005 不能新建或者打开有关\"智能设备\"的项目了? 相关错误:\"从用户数据存储中检索信息时出错。未找到平台\" 及“由于数据存储中不 ...…

查看全部问答>