2021年02月26日 | 边缘计算AI芯片驱动下一代物联网发展

基于AI的机器学习技术已经超越了基于云的数据中心，因为重要的IoT传感器数据的处理越来越接近数据诞生的位置。

此举将由配备有新的人工智能（AI）的芯片实现。其中包括嵌入式微控制器，其存储器和功耗要求比GPU（图形处理单元），FPGA（现场可编程门阵列）和其他专用IC类型要小，并且可以连接到云端。

正是在这些云中，机器学习和相关的神经网络应用才得以爆发，但是物联网的兴起造成了大数据冲击，这也需要基于边缘的机器学习。

现在，云提供商，物联网（IoT）平台制造商以及其他公司看到了在将数据移交给云进行分析之前在边缘处理数据的好处。

在边缘做出AI决策可以减少延迟，并使对传感器数据的实时响应更加可行。但是，人们所谓的“边缘AI”有多种形式。如何通过下一代物联网为其提供动力，输出高质量的可操作数据。

边缘计算工作量增长

基于边缘的机器学习可以推动IoT市场中AI的显着增长，据Mordor Intelligence估计，到2026年，该市场CAGR将以27.3％的复合年增长率增长。

Eclipse Foundation IoT Group在2020年的研究支持了这一点，该研究认为IoT最常引用的边缘计算工作负载中有30%用于AI。

对于许多应用程序来说，复制在云上启用并行机器学习的永不停机的服务器是不可行的。受益于本地处理的IoT边缘案例很多，并通过各种操作监控案例越来越多。例如，处理器可以监视由石油钻井平台上的压力表变化触发的事件，在远程电源线上检测到异常情况或在工厂捕获到的视频录像。

最后一种情况是最广泛使用的一种。在边缘分析图像数据的AI的应用已证明是非常有意义的。但是，使用物联网设备收集的数据进行事件处理有许多复杂的处理需求。

边缘计算的价值

Hyperion Research高级顾问Steve Conway表示，基于云的物联网分析仍将持续下去。但是，将数据移入或移出云自然会产生滞后，往返是需要时间的。

“电磁波最多也就是光速水平。”Conway打趣道。

除了设备和板级实施之外，此层次结构还包括制造中的物联网网关和数据中心，这些物联网网关和数据中心扩展了可用于下一代物联网系统开发的体系结构。

SAS物联网和Edge部门产品营销高级经理Saurabh Mishra表示，从长远来看，边缘AI架构是数据处理重点的又一代转变，并且是关键转变。

他说：“这个想法是集中您的数据。您可以针对某些行业和某些用例进行操作。”

Mishra说：“实际上不可能有效且经济地将其移至云中进行分析，SAS已经创建了经过验证的边缘物联网参考架构，客户可以在此基础上构建AI和分析应用程序。在云和边缘AI之间取得平衡将是一项基本要求。”

Eclipse基金会物联网和边缘计算项目经理Frédéric Desbiens说，要找到平衡，首先要考虑运行机器学习模型所需的数据量。这就是新的智能处理器所负责的。

“边缘AI加速器可以在将数据发送到其他地方之前进行本地处理。但是，这需要您考虑功能需求，包括所需的软件堆栈和存储。” Desbiens说。

边缘AI芯片

基于云的机器学习的兴起受到高内存带宽GPU的兴起影响，这一成功引起了其他芯片制造商的关注。

首先是内部专用于AI的处理器，随后是超大规模云处理器Google，AWS和Microsoft。

这场AI芯片之战目前包括AMD，Intel，Qualcomm和ARM等企业都已加入。

同时，Maxim Integrated，NXP，Silicon Labs，意法半导体等嵌入式微处理器和片上系统的主流供应商开始致力于将AI功能添加到边缘。

如今，物联网和边缘处理需求吸引了AI芯片初创公司，其中包括EdgeQ，Graphcore，Hailo，Mythic等。Hyperion的Steve Conway强调说，边缘AI芯片的主要障碍包括可用内存，功耗和成本。

Conway说：“嵌入式处理器非常重要，因为能耗非常重要。”他说：“ GPU和CPU并不是小小的，特别是GPU会消耗大量能源。”

让神经网络适合边缘

Maxim Integrated公司的微控制器和软件算法业务执行董事Kris Ardis建议，数据移动是一个重要的功耗因素。最近，该公司发布了MAX78000，该器件将低功耗控制器与可在电池供电的IoT设备上运行的神经网络处理器配对。

“如果您可以在最边缘进行计算，则可以节省带宽和通信能力。挑战在于采用神经网络并使其适合边缘处理器。” Ardis说。

他表示，基于该芯片的单个物联网设备可以为物联网网关提供支持，物联网网关也可以发挥重要作用，将来自设备的数据汇总起来，并进一步过滤可能流向云的数据。

其他半导体设备制造商也正在适应一种趋势，即计算越来越接近数据所在的位置。它们是扩展开发人员功能工作的一部分，即使他们的硬件不断增长也是如此。

英特尔物联网部门副总裁Bill Pearson承认，有一段时间“ CPU是解决所有问题的答案”。像边缘AI这样的趋势现在掩盖了这一点。

他使用术语“ XPU”来表示支持不同用途的各种芯片类型。但是，他补充说，应该通过单个软件应用程序编程接口（API）来支持这种多样性。

为了帮助软件开发人员，英特尔最近发布了OpenVINO工具包的2021.2版本，用于在边缘系统上进行推理。它为包括CPU，GPU和Movidius视觉处理单元在内的Intel组件提供了通用的开发环境。Pearson表示，英特尔还为边缘软件提供了DevCloud，以预测不同英特尔硬件上神经网络推理的性能。

NVIDIA GPU也同样如此。

NVIDIA企业与边缘计算部门副总裁兼总经理Justin Boitano表示：“该行业必须使非AI专家的工作变得更加轻松。”

这可能采用NVIDIA Jetson的形式，其中包括一个低功耗ARM处理器。Jetson以60年代的科幻动画片系列而得名，旨在为移动嵌入式系统提供GPU加速的并行处理。

最近，为简化视觉系统的开发，NVIDIA推出了Jetson JetPack 4.5，其中包括其视觉编程接口（VPI）的首个量产版本。

Boitano说，随着时间的流逝，边缘的AI开发琐事将更多地由IT部门来处理，对机器学习有深入了解的AI研究人员将减少这些处理。

Tiny ML的兴起

以往将机器学习方法从算力无限的云迁移到受约束的边缘设备很麻烦，但如今，正在应用新的软件技术来实现紧凑的边缘AI，同时减轻了开发人员的工作量。

实际上，行业已经经历了“ Tiny ML”方法的兴起。以更低的功耗实现了功能，并使用了有限的内存，同时实现了推理操作。

出现了各种降低边缘处理要求的机器学习工具，包括Apache MXNet，Edge Impulse的EON，Facebook的Glow，Foghorn Lightning Edge ML，Google TensorFlow Lite，Microsoft ELL，OctoML的Octomizer等。

缩小尺寸的神经网络处理是这里的主要目标，并且该技术有多种实现。Foghorn的首席技术官Sastry Malladi表示，其中包括量化，二值化和修剪。Foghorn是支持多种边缘和内部部署实施的软件平台供应商。

神经网络处理的量化侧重于低位宽数学的使用，反过来，二值化用于减少计算的复杂性，修剪则是用于减少必须处理的神经节点的数量。

Malladi承认，对于大多数开发人员来说，这是一项艰巨的任务，特别是在一系列硬件上。他说，Foghorn的Lightning平台所做的努力旨在抽象化边缘机器学习的复杂性。

例如，目标是使用拖放式界面的开发软件，而不是应用程序编程界面和软件开发套件，因为它们不那么直观，并且需要更多的编码知识。

简化嵌入式机器学习开发平台制造商Edge Impulse的重点还在于简化开发并在多种类型的Edge AI硬件上运行的软件。

根据CE的Zach Shelby的说法，机器学习的成熟最终意味着一些模型的小型化。

Shelby说：“研究的方向是朝着越来越复杂的越来越大的模型发展。但是，随着机器学习达到黄金时段，人们又开始在乎效率，所以才会有Tiny ML。”

他说，必须有能够在现有物联网基础设施上运行的软件，同时支持新硬件。Shelby继续说，Edge Impulse工具允许对可用硬件上的算法和事件进行基于云的建模，以便用户在进行选择之前可以尝试不同的选项。

应对全新挑战

边缘化方面，计算机视觉已成为AI的重要用例，尤其是深度学习的形式，它采用多层神经网络和无监督技术来实现图像模式识别的结果。

根据Forrester Research的首席分析师Kjell Carlsson的说法，当今的视觉系统架构正在发生变化，因为最边缘的相机通过嵌入式硬件为深度学习增加了处理能力，但是找到最佳的应用目标可能是一个挑战。

他说：“人工智能的问题在于，您最终会更多地关注全新的应用领域。”

Carlsson说，开发这些未开发的解决方案具有潜在的风险，因此，一种有用的策略是，着眼于具有高成本效益比的应用，即使模式识别的准确性可能落后于成熟的现有系统。

总体而言，Carlsson表示，边缘AI可以帮助实现IoT的最初承诺，但随着实施者对各种潜在应用进行分类时，边缘AI有时会滞后。

“物联网本身有一些局限性。现在，借助AI，机器学习和深度学习可以使物联网更加适用，并具有很高的价值，”他说。