历史上的今天
返回首页

历史上的今天

今天是:2024年09月14日(星期六)

正在发生

2018年09月14日 | OPEN AI LAB推出专为嵌入式平台设计的AI推理框架—Tengine

2018-09-14

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

n 有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

n 有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

n 有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

 

专门针对Arm嵌入式设备优化的神经网络推理引擎

OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

 

而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

 

image.png?imageView2/2/w/550 

 

Tengine的“发动机”——HCL计算库

有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

 

现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

 

image.png?imageView2/2/w/550 

*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

NCNN数据为2018年9月7日

 

image.png?imageView2/2/w/550

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下


Tengine + HCL,不同人群的量身定制


Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI  LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。


推荐阅读

史海拾趣

台湾丰宾(CapXon)公司的发展小趣事

面对日益激烈的市场竞争,CapXon公司始终坚持以技术创新为驱动,不断推动产业升级。公司投入大量资金用于研发新的技术和产品,以满足市场对高品质、高性能电容器的需求。通过不断的努力,CapXon成功研发出了一系列具有自主知识产权的高性能电容器产品,这些产品不仅具有更高的稳定性和可靠性,而且能够满足更广泛的应用场景需求。

European Crystal Org公司的发展小趣事

面对快速变化的电子市场和技术趋势,ECO始终保持着敏锐的市场洞察力和创新精神。公司不断投入研发资源,探索新的技术方向和产品应用。同时,ECO还积极拓展新的业务领域,如物联网、智能家居等。这些努力为公司的未来发展奠定了坚实的基础,使ECO能够在激烈的市场竞争中保持领先地位。

APEM公司的发展小趣事

随着公司规模的扩大,APEM开始实施国际化发展战略。1975年,APEM在欧洲创建了首家附属公司,随后又在英国、突尼斯、比利时、荷兰和卢森堡等地成立分公司。这些举措不仅扩大了APEM的市场份额,也提升了其在国际市场的知名度。

台湾晶豪(ESMT)公司的发展小趣事

晶豪科技一直积极寻求与国内外企业的合作机会。通过与合作伙伴的紧密合作,公司不断拓展业务领域,进入了模拟及混合讯号IC领域。目前,公司提供的产品包括音讯转换器(ADC/DAC)及D类音频放大器等IC。这些新产品的推出不仅丰富了公司的产品线,还为客户提供了更多样化的选择。同时,通过与合作伙伴的资源共享和优势互补,晶豪科技在技术研发和市场拓展方面取得了更多突破。

赛微(Cellwise)公司的发展小趣事

作为一家有着高度社会责任感的企业,赛微始终关注社会发展和环境保护。公司积极参与公益事业和慈善活动,为社会做出积极贡献。同时,公司还注重环境保护和资源节约,通过引进先进的生产设备和工艺技术,降低生产过程中的能耗和排放,实现绿色生产和可持续发展。

请注意,以上故事框架仅为概述,具体细节和数据可能需要根据实际情况进行调整和完善。

Golledge Electronics公司的发展小趣事

在技术创新和产品研发的过程中,赛微高度重视知识产权的保护和管理。公司积极申请各类专利和软件著作权,加强知识产权保护力度。截至目前,赛微已经拥有国际/国内软件著作权98项,国际/国内专利166项,正在申请的国际/国内专利64项。这些知识产权的积累不仅提升了公司的核心竞争力,也为公司的长期发展奠定了坚实基础。

问答坊 | AI 解惑

芯片制造工艺减少了电力消耗和封装尺寸

 Analog Devices公司(ADI)推出了一项结合高电压半导体工艺(供电电压最高达到30V)、亚微米CMOS工艺以及互补双极性工艺的半导体制造技术。这项制造技术被称为工业CMOS(或iCMOS)。这种制造工艺的应用目标是转换器、放大器、开关和其它工作在高 ...…

查看全部问答>

专家关于数字地和模拟地的区分

潘老师您好:     我是一名研究生,最近做导师的项目需要自己设计板子。为了让信号的质量更好,我想区分模拟地和数字地,但不知道如何区分。在网上查了很多资料,感觉也不得其法。比如有人说运方是模拟器件,但接的是数字地等等一些说法 ...…

查看全部问答>

如何能编好单片机的程序(3)

v) 对齐。用TAB键对齐你的一些变量的声明或注释,一样会让你的程序好看一些。如: typedef struct _pt_man_t_ {   int   numProc;  /* Number of processes         */   int   maxProc;  /* Max Number of processes    ...…

查看全部问答>

RegisterHotKey为什么老返回false?

wince5.0的hpc下试过: 1. int  hotKeyID   =   GlobalAddAtom(L\"myHotKey\");      ret = RegisterHotKey(hwnd, hotKeyID, (UINT)NULL, VK_XXKey); 2. ret = RegisterHotKey(hwnd, 1801 ...…

查看全部问答>

I2C在wince上面可行,在无操作系统下不行的奇怪问题

我的问题是这样的:     用优龙2440的开发板,把摄像头拿掉,然后用camera口连接我另一块板上的芯片TW9910. 我在wince下用i2c驱动另一块板上的芯片时,i2c可以正确的读和写芯片上的值,但是到了无 操作系统下面是就不行了。我把wince ...…

查看全部问答>

谈谈我在咱们e淘e板块的感想!~

我也是刚刚来这个板块不久,但是有一种特别的感觉!~我觉得咱们板块的坛友们都蛮好的,挺有素质的!~但是我很不理解的是为什么咱们板块的人这么少,我觉得是不是应该对咱们坛子,以及咱们的板块做一下推广,没有别的意思,就是觉得这个板块确实挺不 ...…

查看全部问答>

(重新编号整理)电机控制器原理图。望各位大侠分析(带protel sch)

电路都是分立单元电路。好难看懂。有些地方画法也不正确。希望大侠分析各单元原理。 我对运放或者比较器不懂。我认为那个IC是。但我画不出图来。同时也希望大侠完善我的原理图把画整清晰。。多谢 [ 本帖最后由 wthdyfg 于 2010-11-13 12:59 编辑 ...…

查看全部问答>

香主:MDK环境下可以用JLINKV6仿cortex-m3的片子吗

                                 MDK环境下可以用JLINK V6仿cortex-m3的片子吗?谢谢…

查看全部问答>

请教关于直流无刷电机正弦换相的问题。

本帖最后由 dontium 于 2015-1-23 13:23 编辑 困扰了好久了,我用的是2407A。 我的实现方法是EVA控制电机的PWM和捕捉位置信号来换相,用EVB的正交编码脉冲电路来接500线的编码器,用编码器发出的脉冲作为定时器4的时钟源,来读T4CNT的值作为计算S ...…

查看全部问答>