历史上的今天
返回首页

历史上的今天

今天是:2025年03月08日(星期六)

2018年03月08日 | 是时候不把智能手机叫做电话了:移动AI时代到来了

2018-03-08 来源:集微网

Liran Bar,CEVA图像和计算机视觉DSP产品线,产品市场总监


全新的iPhone X集成了用于人脸识别的神经引擎,但这仅仅是一个开始。嵌入式神经引擎和专用智能处理器在边缘设备上实现了人工智能(AI),打破了对于云的依赖。边缘处理的好处包括减少延迟,全网络覆盖,增加了隐私和安全性,并减少了与云端的通信,从而降低了成本。正因为具备上述优势,移动设备可以利用人工智能去实现不久前还只能出现在科幻小说中的场景。


过去的机器现在是实时数据处理中心


我刚刚参加完我们的年度研讨会,有机会亲密接触到了嵌入式世界中的AI技术。曾经是纯机械的机器,比如汽车、无人机和机器人,现在正变得智能起来,具备了可视、感知、跟踪、分类、检测、识别等能力。现在,这些设备使用计算机视觉和传感器融合来收集和处理数据,并进行实时决策。在某些情况下,比如无人驾驶汽车和无人机,决策是至关重要的,云端处理的延时可能导致难以接受的响应时间。通过片上智能化,这些机器更准确地被定义为了数据中心。


AI的边缘化必须实时和低功耗地处理大量信息(来源于:CEVA)


无人驾驶车辆就是一个很好的例子,它需要大量的视觉和其它传感器,以及卫星定位信息和各种连接解决方案。它还必须有一个“大脑”完成数据融合和分析。同时基于云的处理和信息也将在自动驾驶功能中发挥作用,因此必须有一个可以瞬间做出决策的车载处理器。即使出现零星的情况,操作车辆也不会有危险是非常关键的。因此,处理器能够处理密集的深度学习计算是必要的,而不是一个可选的功能。


汽车上的AI边缘处理要求高水平的车载智能(来源于:CEVA)


神经网络的边缘处理正在成为主流


在智能手机领域,苹果通常是一个新增特性被作为主流必备还是利基市场(niche-market )配件的试金石。随着苹果新旗舰iPhone X的发布,手机上配有一个专门的神经引擎是人工智能边缘处理的一件大事。如同我同事在最新的苹果手机发布之前预测的一样,这意味很快每个带有摄像头的设备将包括一个视觉DSP或其它专门的神经网络处理器。iPhone X里的神经引擎实现了Face ID技术,允许用户注视手机从而解锁他们的iPhone。超快的响应时间加上隐私和安全级别的考虑需要所有的识别处理必须在手机上完成。以现在设备上具备的AI能力,肯定会不断推出更多令人兴奋的AI功能。


谷歌也在其最新的旗舰手机Pixel 2中增加了类似的功能,通过称之为像素视觉核心(Pixel Visual Core)的处理器实现。在竞争激烈的智能手机领域,谷歌必须实现差异化。方法之一是推出相机搭载出众软件的Pixel智能手机。但是,图像增强所需的密集计算,单镜头背景虚化效果,提高照片的动态范围,这些功能在目前大部分领先的智能手机自带的标准处理器上不能高效地运行。因此谷歌决定为这些功能添加第二个芯片,通过添加AI功能可能是另一个主要差异化的体现。华为最近也宣布了在麒麟970中集成了神经引擎,另外还有许多其它公司也加入到竞赛中。


基于视觉DSP的引擎如何实现片上智能化?


虽然边缘处理的好处显而易见,它同时也带来了挑战。难题是如何将可以在巨型服务器上完成的数据运算,放入到一个很小的手持设备中,同时电量还被消耗在许多其它处理任务上。这就是视觉DSP对于能否成功实现边缘AI处理至关重要的原因。精简和高效,但强大的矢量化性能,让DSP处理器成为完成神经引擎工作负载的最佳选择。


另一个挑战是如何将现有的神经网络移植到嵌入式DSP环境里。这可能会消耗大量的开发时间,代价变得非常昂贵。但是自动化工具链可以支持“按键操作”,一站式服务将网络的分析和优化转换到嵌入式环境中。对这样的工具而言,覆盖大量最先进的网络是非常重要的,以确保任何网络都可以很容易地优化并运行在嵌入式设备上。


Faster RCNN——CEVA完整的自动网络生成器可以有效的降低带宽和保持比特精度(来源于:CEVA)


移植和优化过程完成后,通常会对输入数据进行下采样,从而以最少的信息丢失完成更快速的处理。例如在Faster RCNN (PDF)的流程中,我们有两个处理阶段,区域建议(proposal regions)和区域分类(classify regions)。


例子:Faster RCNN处理流(来源于:CEVA)


CEVA-XM家族处理器是超低功耗的视觉DSP,非常适合完成此类工作。通过添加CEVA-CNN硬件加速器(HWA)可以更进一步提升性能,加速神经网络处理(例如Faster RCNN)。从下图中可以看到,我们第五代视觉处理器CEVA-XM6,相比前一代获奖的CEVA-XM4性能有了显著改善。添加CEVA-CNN硬件加速器则使性能又向前迈进了一大步。

 

使用CEVA-XM视觉DSP家族后Faster RCNN的性能(来源于:CEVA)


基于深度学习的人工智能为手持设备带来了无尽的机会:通过图像增强获得DSLR质量的照片,增强和虚拟现实应用,环境感知、避让和导航、检测、跟踪、识别、分类、分割、映射、定位、视频增强等等。我们手掌中拥有这样的力量,看起来智能手机的通话功能就微不足道了。


AI支撑的可视化智能应用(来源于:CEVA)

推荐阅读

史海拾趣

D3 Semiconductor公司的发展小趣事

为了更好地拓展市场,D3 Semiconductor与全球知名的电子元件分销商贸泽电子(Mouser Electronics)建立了合作伙伴关系。根据协议,贸泽电子储备了D3 Semiconductor的完整650伏额定电压超结MOSFET产品线,并将其推向全球市场。这一合作不仅加强了D3 Semiconductor在全球市场的竞争力,也为公司带来了更多的商业机会。

辉芒微(FMD)公司的发展小趣事

在快速发展的过程中,辉芒微积极寻求外部合作与资本支持。2017年,公司与芯天下达成重要交易,通过股权转让的方式,将SPI NOR Flash产品线转让给芯天下,并获得了丰厚的现金回报和股权收益。这一战略举措不仅为公司带来了短期的财务收益,更为后续的发展提供了更多的资本支持和战略灵活性。此后,辉芒微还成功吸引了多家知名投资机构的关注和支持,为其未来的发展注入了强劲的动力。

明微公司的发展小趣事

在电子行业中,人才是企业发展的关键因素。明微公司深知这一点,始终将人才队伍建设放在重要位置。公司积极引进优秀人才,建立完善的人才选拔和培养机制。同时,公司还注重员工培训和职业发展规划,为员工提供广阔的发展空间。这些举措使明微公司拥有一支高效、专业的团队,为公司的发展提供了有力的人才保障。

请注意,以上故事均为虚构,旨在为你提供一个关于明微公司在电子行业中发展起来的故事框架。实际发展情况可能因各种因素而有所不同。

EXCELSEMI [ EXCEL SEMICONDUCTOR INC. ]公司的发展小趣事

为了满足不同客户的需求,EXCELSEMI公司不断扩展产品线。除了传统的半导体芯片产品外,公司还涉足了功率半导体、传感器、智能模块等领域。通过多元化的产品线布局,EXCELSEMI能够为客户提供一站式解决方案,增强了市场竞争力。

Apex Tool Group公司的发展小趣事

EXCELSEMI公司深知技术创新对于企业发展的重要性。因此,公司始终保持对研发的重视和投入。公司不仅设立了专门的研发中心,还引进了一批高素质的研发人才。通过持续的研发投入和技术创新,EXCELSEMI在半导体领域取得了多项专利和技术成果,为公司的发展提供了源源不断的动力。

Holy Stone公司的发展小趣事

Holy Stone企业股份有限公司创立于1981年,总部位于台北市。创立之初,公司凭借创办人深厚的电子技术背景,迅速在电子元件市场站稳脚跟。起初,Holy Stone主要作为专业的电子零件代理商,为客户提供专业的技术服务与解决方案。这一阶段,公司通过扎实的专业技术基础和敏锐的市场洞察力,逐步建立起稳定的客户基础,为后续的发展奠定了坚实的基础。

问答坊 | AI 解惑

GPS定位跟踪方案

• 采用GPS/GSM复合定位技术。全球互联网络查询,全国覆盖漫游,无障碍、无盲点、全天候。 • 具有手机、PC机自助查询操作和运营商呼叫服务中心三种服务方式,方便、及时,适用于各类用户群。 • 体积小、重量轻、携带方便、操 ...…

查看全部问答>

PCI的VHDL源码

喜好PCI的朋友可以下啦!! …

查看全部问答>

求助:提供正负电压的芯片

锂电池电压:3.6V,求一芯片可以把3.6V电压转换成正负5V。 [ 本帖最后由 lzcqust 于 2010-2-5 08:34 编辑 ]…

查看全部问答>

模拟与数字之间的隔离

电子电路中隔离的全面介绍之                      ——模拟与数字之间的隔离(连载5) 作者:北京 jerrymiao 一般地说,模拟电路与数字电路之间的转换通过模数 ...…

查看全部问答>

寻liunx下抓USB数据包工具

我在试着linux连接USB(HID)设备,写数据到设备,想找一款能看到数据交换的一个工具,希望达人帮我推荐一个!…

查看全部问答>

像语音识别这样的AP怎么写啊?捕捉线程跟识别线程怎么通信?他们通信的时间点怎么界定?就是捕捉线程什么时候去通知识别线程?在什么情况下?

像语音识别这样的AP怎么写啊?捕捉线程跟识别线程怎么通信?他们通信的时间点怎么界定?就是捕捉线程什么时候去通知识别线程?在什么情况下?…

查看全部问答>

有谁用过PCL6045BL

有谁用过PCL6045BL,控制CPU是MCS51系列的, 可否把资料传我一份…

查看全部问答>

关于HIVE注册表实现中的一些问题。。。

我在使用hive注册表保存方式的时候。。在系统进入到定位程序的时候就不动了。点屏幕定位针不动。。按esc也不行。。。但是点屏幕的时候在pb的debug中可以看到点的坐标。。。。按道理说系统应该是卡死了才对。。可是为什么那里还可以打印出来坐标了? ...…

查看全部问答>

如何解决散热:困扰白光LED应用

replyreload += \',\' + 686736;散热问题,持续困扰高轴功率白光LED的应用。中国环氧树脂行业协会专家表示,这样看起来好像只是因为期望达到散热,而把简单的一件事情予以复杂化,到底这样是不是符合成本和进步的概念,以今天的应用层面说很难做判 ...…

查看全部问答>

没人用STM8吗?

全是STM32的贴子.为什么我的全局变量不会被初始化为0?有人知道吗,指点一下,谢谢了。我用STM8,C编译器为Raisonance,IDE为STVD…

查看全部问答>