历史上的今天
今天是:2024年09月14日(星期六)
2018年09月14日 | OPEN AI LAB推出专为嵌入式平台设计的AI推理框架—Tengine
2018-09-14
边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?
n 有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。
n 有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。
n 有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。
OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。
专门针对Arm嵌入式设备优化的神经网络推理引擎
OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。
而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。
Tengine的“发动机”——HCL计算库
有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。
现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。
*Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试
NCNN数据为2018年9月7日

*采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下
Tengine + HCL,不同人群的量身定制
Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。
史海拾趣
|
Analog Devices公司(ADI)推出了一项结合高电压半导体工艺(供电电压最高达到30V)、亚微米CMOS工艺以及互补双极性工艺的半导体制造技术。这项制造技术被称为工业CMOS(或iCMOS)。这种制造工艺的应用目标是转换器、放大器、开关和其它工作在高 ...… 查看全部问答> |
|
潘老师您好: 我是一名研究生,最近做导师的项目需要自己设计板子。为了让信号的质量更好,我想区分模拟地和数字地,但不知道如何区分。在网上查了很多资料,感觉也不得其法。比如有人说运方是模拟器件,但接的是数字地等等一些说法 ...… 查看全部问答> |
|
v) 对齐。用TAB键对齐你的一些变量的声明或注释,一样会让你的程序好看一些。如: typedef struct _pt_man_t_ { int numProc; /* Number of processes */ int maxProc; /* Max Number of processes ...… 查看全部问答> |
|
wince5.0的hpc下试过: 1. int hotKeyID = GlobalAddAtom(L\"myHotKey\"); ret = RegisterHotKey(hwnd, hotKeyID, (UINT)NULL, VK_XXKey); 2. ret = RegisterHotKey(hwnd, 1801 ...… 查看全部问答> |
|
我的问题是这样的: 用优龙2440的开发板,把摄像头拿掉,然后用camera口连接我另一块板上的芯片TW9910. 我在wince下用i2c驱动另一块板上的芯片时,i2c可以正确的读和写芯片上的值,但是到了无 操作系统下面是就不行了。我把wince ...… 查看全部问答> |
|
我也是刚刚来这个板块不久,但是有一种特别的感觉!~我觉得咱们板块的坛友们都蛮好的,挺有素质的!~但是我很不理解的是为什么咱们板块的人这么少,我觉得是不是应该对咱们坛子,以及咱们的板块做一下推广,没有别的意思,就是觉得这个板块确实挺不 ...… 查看全部问答> |
|
(重新编号整理)电机控制器原理图。望各位大侠分析(带protel sch) 电路都是分立单元电路。好难看懂。有些地方画法也不正确。希望大侠分析各单元原理。 我对运放或者比较器不懂。我认为那个IC是。但我画不出图来。同时也希望大侠完善我的原理图把画整清晰。。多谢 [ 本帖最后由 wthdyfg 于 2010-11-13 12:59 编辑 ...… 查看全部问答> |
|
本帖最后由 dontium 于 2015-1-23 13:23 编辑 困扰了好久了,我用的是2407A。 我的实现方法是EVA控制电机的PWM和捕捉位置信号来换相,用EVB的正交编码脉冲电路来接500线的编码器,用编码器发出的脉冲作为定时器4的时钟源,来读T4CNT的值作为计算S ...… 查看全部问答> |




