历史上的今天
返回首页

历史上的今天

今天是:2024年12月09日(星期一)

正在发生

2020年12月09日 | Graphcore IPU-M2000性能测试,完胜GPU

2020-12-09 来源:EEWORLD

Graphcore为其最新的AI计算系统——IPU-M2000和纵向扩展的IPU-POD64发布了第一套性能benchmark。

 

image.png?imageView2/2/w/550


在各种流行的模型中,Graphcore技术在训练和推理方面均显著优于NVIDIA的A100(基于DGX)。

 

image.png?imageView2/2/w/550


亮点包括:

 

训练

 

EfficientNet-B4:吞吐量高18倍

 

ResNeXt-101:吞吐量高3.7倍

 

BERT-Large:与DGX A100相比,在IPU-POD64上的训练时间快5.3倍(比双DGX系统缩短2.6倍)

 

推理

 

LSTM:以更低时延实现吞吐量提升超过600倍

 

EfficientNet-B0:吞吐量提升60倍/时延缩短超过16倍

 

ResNeXt-101:吞吐量提升40倍/时延缩短10倍

 

BERT-Large:以更低的时延实现吞吐量提升3.4倍


image.png?imageView2/2/w/550

image.png?imageView2/2/w/550


Benchmark中包括了BERT-Large(基于Transformer的自然语言处理模型)在IPU-POD64的全部64个处理器上运行的结果。

 

BERT-Large的训练时间比最新的NVIDIA DGX-A100快5.3倍(比双DGX设置快2.6倍以上),这一结果彰显了Graphcore的IPU-POD横向扩展解决方案在数据中心的优势,以及Poplar软件栈管理复杂工作负载的能力,这些工作负载能够利用多个处理器并行工作。

 

Graphcore软件高级副总裁Matt Fyles在对测试结果发表评论时说:“这一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在许多流行模型上的性能均优于GPU。”

 

“诸如EfficientNet之类的新型模型的benchmark特别具有启发性,因为它们证明了AI的发展方向越来越倾向于IPU的专业架构,而非图形处理器的传统设计。”

 

“客户需要能够处理稀疏性以高效运行大规模模型的计算系统,而这正是Graphcore IPU所擅长的。在这种客户需求的趋势下,差距只会不断扩大。”

 

Graphcore为阿里云HALO定制代码正式在GitHub开源

 

Graphcore是阿里云HALO的合作伙伴之一,为阿里云HALO定制开发的代码odla_PopArt已经在HALO的GitHub上开源,具体请见https://github.com/alibaba/heterogeneity-aware-lowering-and-optimization

 

MLCommons

 

除了发布其AI计算系统的全面benchmark外,Graphcore还宣布,其已经加入新成立的MLPerf下属机构MLCommons,成为MLCommons的会员。

 

Graphcore将从2021年开始参加MLCommons的比较benchmark测试。更多信息,请参阅MLCommons的成立公告。

 

现已出货

 

Graphcore最新benchmark的发布与IPU-M2000和IPU-POD64系统向全球客户的推出时间刚好一致。一些早期发货的产品已经在数据中心安装并运行。

 

销售工作得到了Graphcore全球合作伙伴网络以及公司在欧洲、亚洲和美洲的销售人员和现场工程团队的支持。

 

PyTorch和Poplar 1.4

 

Graphcore用户现在可以利用Poplar SDK 1.4,包括全面的PyTorch支持。PyTorch已成为从事尖端AI研究的开发人员的首选框架,在更广泛的AI社区中也收获了大批的追随者,并且追随者的数量还在快速增长。

 

PapersWithCode的最新数据显示,在具有关联代码的已发表论文中,47%的论文使用了PyTorch框架(2020年9月)。

 

额外补充的PyTorch支持,再加上Poplar对TensorFlow的现有支持,这意味着绝大多数AI应用程序现在都可以轻松部署在Graphcore系统上。

 

与Poplar软件栈的其他元素一样,Graphcore正在将其用于IPU接口库的PyTorch开源,从而使社区能够对PyTorch的开发做出贡献,并且加速PyTorch的开发。

 

关于IPU-M2000和IPU-POD

 

IPU-Machine:M2000(IPU-M2000)是一台即插即用的机器智能计算刀片,旨在轻松部署并为可大规模扩展的系统提供支持。

 

纤巧的1U刀片可提供1 PetaFlop的机器智能计算能力,并在机箱内部纳入针对AI横向扩展进行了优化的集成网络技术。

 

每个IPU-Machine:M2000(IPU-M2000)均由Graphcore的4个新型7纳米Colossus™ MK2 GC200 IPU处理器提供动力,并得到Poplar®软件栈的完全支持。

 

IPU-POD64是Graphcore的横向扩展解决方案,包括16台IPU-M2000,这些机器使用Graphcore的超高带宽IPU-Fabric™技术进行了预先配置和连接。

 

IPU-POD64专为需要大规模AI计算功能的客户而设计,既可以跨多个IPU运行单个工作负载以进行并行计算,也可以通过Graphcore的Virtual-IPU软件供多个用户共享使用。

 


推荐阅读

史海拾趣

Datatronic公司的发展小趣事

随着环保意识的提高,Datatronic公司开始探索绿色发展的道路。公司注重节能减排和资源循环利用,通过改进生产工艺和使用环保材料等方式降低对环境的影响。同时,公司还积极推广绿色产品和技术,引导客户树立绿色消费观念。这些努力使得Datatronic公司在环保方面取得了显著成效,赢得了社会的广泛赞誉。

东晶(ECEC)公司的发展小趣事

近年来,随着电子信息技术的快速发展和智能化趋势的加剧,东晶电子也面临着新的机遇和挑战。为了适应市场变化和满足客户需求,公司开始实施战略转型和升级。公司加大了对新型电子元器件的研发力度,推动产品向微型化、功能化、高精度方向发展。同时,公司还积极开拓新领域和新市场,拓展业务范围和市场份额。这些举措为公司未来的发展奠定了坚实的基础。

请注意,这些故事是基于已知信息的概括性描述,并非具体的历史事件。在实际情况中,东晶电子的发展历程可能更加复杂和多样化。

Electromagnetic Industries Llp公司的发展小趣事

进入21世纪,随着科技的不断进步,电子行业对产品的性能和质量要求越来越高。EMI公司意识到,只有不断创新才能在激烈的市场竞争中立于不败之地。因此,公司加大了对研发的投入,引进了一批高端技术人才,并建立了完善的研发体系。经过几年的努力,EMI公司成功研发出了一系列具有自主知识产权的电磁产品,这些产品在性能和质量上均达到了国际先进水平,赢得了客户的广泛赞誉。

静芯微电子(ElecSuper)公司的发展小趣事

静芯微电子在发展过程中,持续投入研发资源,不断推动技术创新。公司成功研发出芯片级TVS器件,并在国内首次开发成功在人体模型(HBM)下抗静电强度高于30KV的关键技术和器件。这一技术突破不仅提升了产品的性能,还进一步巩固了静芯微电子在ESD/TVS领域的领先地位。同时,公司还积极申请和积累专利,目前已拥有多项发明专利、实用新型专利和集成电路布图登记等知识产权成果。

Connor-Winfield公司的发展小趣事

在电子行业中,技术的创新和产品的品质是企业生存和发展的关键。Connor-Winfield深知这一点,因此在发展过程中始终注重技术创新和品质提升。公司投入大量资源进行研发,不断推出具有创新性和高性能的产品。同时,公司还建立了严格的质量管理体系,确保每一件产品都符合最高的品质标准。这些努力使得Connor-Winfield的产品在市场上赢得了良好的口碑。

Galaxy ( Bel )公司的发展小趣事

在电子行业中,技术的创新和产品的品质是企业生存和发展的关键。Connor-Winfield深知这一点,因此在发展过程中始终注重技术创新和品质提升。公司投入大量资源进行研发,不断推出具有创新性和高性能的产品。同时,公司还建立了严格的质量管理体系,确保每一件产品都符合最高的品质标准。这些努力使得Connor-Winfield的产品在市场上赢得了良好的口碑。

问答坊 | AI 解惑

请教个傻问题

各位大虾:            为什么交流信号经过一个电阻后,相位会发生滞后啊??有什么解决办法吗??              &nbs ...…

查看全部问答>

电子设计大赛中需要准备好的几件事

本帖最后由 paulhyde 于 2014-9-15 09:18 编辑 1、 选择好队友,电子设计需要合作才可以完成。所以选择队友很重要,现在比较流行的说法是一个写软件、一个做硬件、一个写报告。其实我觉得不应该这样:首先电子设计时间短不可能让我们一件事情一件 ...…

查看全部问答>

讨论讨论:硬件工程师手册

讨论讨论:硬件工程师手册 网上流传*华*为(HW)的硬件工程师手册有一段时间了。2@1IC原来也是有的,现在好像撤掉了。在其他网页,应该还有下载的地方。网上其他公司的手册也有所见,有兴趣的网友可以搜索一下。无意评价那个公司具体的技术水平, ...…

查看全部问答>

求救!LPC2294 + RTL8019,各位大侠!到底那里错了

初始化(BOOT1:0 HH(11))         PINSEL2 &= ~(0x00000800);                //片选引脚P3.26(1000_0000_0000)         IO3DIR |= 0x04000000;   &n ...…

查看全部问答>

请问有谁接开发过不带操作系统的裸机(32bit RSIC cpu)

   为什么不带操作系统,可以做成很多种功能?…

查看全部问答>

小第初学单片机,问一下定时中断问题----望各路高手指导

  我最近准备做一下简易交通灯,利用的主控芯片是AT89C52,时间上是采用定时0的方式1来定时,采用定时器0中断,所采用的语言是C语言,因为定时器0的方式1最多计算65536次,因此我需要放一变量在中断处理函数里,每次相应一次中断后,就在中断处理 ...…

查看全部问答>

关于Eye Doctor的文章的问答

关于Eye Doctor的文章的问答…

查看全部问答>

用SPI Flash IC做字库的方法(不提供源代码)

       在很多应用中我们都需要使用到字库,常见的方法有: 1. 把字库放入SD卡中。需要带SD卡,需要使用文件系统,软硬件成本比较高。 2. 把字符放入代码中一起编译,后下载到单片机中。对单片机的FLASH要求比较 ...…

查看全部问答>

版主帮忙!!!

1、STM32从待机模式唤醒是怎样一个过程? 2、采用复位按键与wakeup按键唤醒有区别吗? 3、唤醒后需要执行什么样的操作,CPU重哪条语句开始执行?外设需要重新初始化吗?变量需要重新赋初值吗? ST的文档写得很模糊!!!!!!!!!!!! ...…

查看全部问答>

stm32+MP3+fats移植好的mp3播放源码

stm32+MP3+fats 移植好的mp3播放源码http://www.stmsky.com/bbs/viewthread.php?tid=1271&extra=…

查看全部问答>