2021年04月02日 | 如何提高边缘机器学习的易用性

随着新硬件的出现，“边缘智能”变得越来越容易获得——甚至对那些没有接受过正式数据培训的设计师也能轻松搞定。

近年来，连接设备和物联网已经在我们的日常生活中无处不在。许多小型设备都连接到云——例如，几乎所有拥有智能手机或笔记本电脑的人都在使用基于云的服务，无论是主动使用还是通过自动备份。

然而，一种被称为“边缘智能”的新范式正迅速在的科技圈获得关注。本文介绍了基于云的智能、边缘智能以及专业用户可能使用的用例，以便让所有人都可以使用机器学习（ML）。

从云计算向边缘计算的转变为构建数十亿支持ML软件的设备提供了可能性。

云计算

简单地说，云计算就是客户机需要远程计算资源时的可用性。

对于公有云服务，云服务提供商负责管理硬件，确保服务的可用性达到一定的标准和客户的期望。云服务的客户为他们所使用的服务付费，而这种服务的使用通常只适用于大规模运营。

边缘计算

另一方面，边缘计算发生在云和客户网络之间的某个地方。

虽然边界节点的确切位置的定义可能因应用程序的不同而不同，但它们通常靠近本地网络。这些计算节点提供过滤和缓冲数据等服务，它们有助于提高隐私性，提供更高的可靠性，并减少云服务成本和延迟。

最近，人工智能和ML越来越多地补充边缘计算节点，帮助决定哪些数据是相关的，应该上传到云上进行更深层次的分析。

ML

ML是一个广泛的科学领域，但在最近，神经网络(NN)在讨论ML算法时获得了很多的关注。

多类或复杂的ML应用，如目标跟踪和监视、自动语音识别和多人脸检测，通常需要神经网络。在过去的十年里，许多科学家努力改进和优化神经网络算法，使它们能够在计算资源有限的设备上运行，这有助于加速边缘计算范式的普及和实用性。

其中一种算法是MobileNet，这是谷歌开发的一种图像分类算法。这个项目证明了高度精确的神经网络确实可以在计算能力明显受限的设备上运行。

ML不仅仅适用于行业专家

直到最近，ML主要是为深入了解深度学习应用程序的数据科学专家而设计。通常，开发工具和软件套件不是很成熟，使用起来具有挑战性。

ML和边缘计算正在迅速扩展，对这些领域的兴趣每年都在稳步增长。根据目前的研究，到2025年，98%的边缘设备将使用ML。也就是说，研究人员预计将有大约180 - 250亿台设备具备ML能力。

总的来说，边缘的ML为从计算机视觉、语音分析、视频处理到序列分析的广泛应用打开了大门。

具体案例比如与摄像头相结合的智能门锁。这些设备可以自动检测想要进入房间的人，并在适当的时候允许他进入。

现代硬件解决方案使ML处理成为可能

由于神经网络算法的优化和性能改进，许多ML应用程序现在可以在由跨界mcu(如i.MX RT1170)驱动的嵌入式设备上运行。它有两个处理核心(1GHz的Arm Cortex M7+400mhz的Arm Cortex- m4内核)，开发人员可以在考虑实时约束的情况下选择运行兼容的神经网络实现。

由于双核设计，i.MX RT1170还允许并行执行多个ML模型。额外的内置加密引擎，先进的安全功能，以及图形和多媒体功能，使i.MX RT1170适合更广泛的应用。例如驾驶员分心检测、智能灯开关、智能锁、车队管理等。

相较于 2018 年发布的 i.MXRT1060， i.MXRT1170 模块框图上用蓝圈标出了所有新增外设模块，除了新增外设外，已有外设的数量在 i.MXRT1170 上也得到了增加，比如 UART 从 8 个变成 12 个，这对于工控应用来说也很重要，只是这不是痞子衡介绍的重点。

最显眼的亮点，便是上述提到的 400MHz Cortex-M4，i.MX RT 系列从 RT1170 开始首次引入了双核，Cortex-M4 的引入可不仅仅是刷新 CoreMark 总分那么简单（当然 6468 的跑分确实挺震撼），有了这颗 Cortex-M4，一些相对简单的键盘响应、传感器采集、电机控制等任务便可以交给它来做，而超强的 Cortex-M7 则可以专注在音视频识别与处理、千兆以太网通讯控制等复杂任务上

i.MX 8M Plus：让ML覆盖更多领域

i.MX 8M Plus是一个应用处理器，专注于ML、计算机视觉、高级多媒体应用和高可靠性的工业自动化。这些设备在设计时考虑到了智能设备和工业4.0的应用需求，并配备了一个专用的NPU，最多可运行2.3TOPS和多达四个Arm Cortex A53处理器核心。

i.MX 8M Plus内置的图像信号处理器允许开发者使用两个高清摄像头传感器或单个4K摄像头。这些特性使得i.MX 8M Plus系列设备可以应用于面部识别、物体检测和其他ML任务。除此之外，i.MX 8M Plus系列还具有先进的2D和3D图形加速功能，多媒体功能如视频编码和解码支持，包括H.265，以及8个PDM麦克风输入。

另一个低功耗800MHz Arm Cortex M7核心作为补充。这一专用核心服务于需要稳定网络功能的实时工业应用程序，如CAN FD和具有TSN功能的千兆以太网通信。

eIQ工具

对于开发，我们需要一个易于使用、高效和有能力的开发生态系统，使开发人员能够构建现代的ML系统。NXP全面的eIQ ML软件开发环境旨在帮助开发人员创建基于ML的应用程序。

eIQ工具环境包括推理引擎、神经网络编译器和优化库，以支持在NXP微控制器、i.MX RT跨界MCU和i.MX SOC家族上使用ML算法。开发人员可以通过NXP的MCUXpresso IDE和Yocto BSP SDK获取所需的ML技术。

即将发布的eIQ工具包增加了一个可访问的GUI;eIQ门户和工作流，允许所有经验级别的开发人员创建ML应用程序。

使用BYOD和BYOM工作流的工具箱和eIQ门户，以及eIQ推理引擎的选择。eIQ工具包帮助所有经验级别的开发者在NXP设备上部署ML应用程序

开发人员可以选择遵循一个称为BYOM(bring your own model)的过程，在这个过程中，开发人员使用基于云的工具构建他们训练过的模型，然后将它们导入eIQ Toolkit软件环境。剩下要做的就是在eIQ中选择适当的推理引擎。开发人员可以使用基于GUI的eIQ门户工具或命令行接口导入和管理数据集，并使用BYOD工作流在eIQ工具包中训练它们的模型。

ML存在于所有的边缘

大多数现代消费者都熟悉云计算。然而，近年来，一种被称为边缘计算的新范式引起了越来越多的关注。

在这种模式下，并不是所有的数据都被上传到云端。相反，位于终端用户和云之间的边缘节点提供了额外的处理能力。这种模式有很多好处，比如提高了安全性和私密性，减少了向云的数据传输，降低了延迟。

最近，开发人员经常使用ML能力来增强这些边缘节点。这样做有助于对收集到的数据进行分类，并过滤掉不需要的结果和不相关的信息。将ML添加到边缘中，可以实现许多应用程序，如驾驶员分心检测、智能灯开关、智能锁、车队管理、监视和分类等。

ML应用程序传统上是由数据科学专家专门设计的，他们对ML和深度学习应用程序有深刻的理解。NXP提供了一系列如i.MX RT1170和i.MX 8M Plus这些便宜且强大的设备，以及eIQ ML软件开发环境，以帮助将ML开放给任何设计人员。这种硬软结合的目的是允许开发人员在任何级别下都能构建面向未来的ML应用程序，无论项目是大是小。