2020年09月25日 | TinyML助力端侧设备更加智能

本文作者：Arm生态系统经理Alessandro Grande

TinyML证明了小巧的好处，这种新方法不需要在云端、耗电量大的计算机上运行复杂的机器学习（ML）模型，而是在终端设备中运行模式识别的优化模型，在功耗仅为毫瓦的微控制器上进行处理。

在Arm、谷歌、高通和其他公司的支持下，TinyML这一新兴领域有可能改变我们处理物联网（IoT）数据的方式，在物联网数据处理方面，数十亿台微型设备已经被用于在消费、医疗、汽车和工业等领域提供更大的洞察力和效率。

微控制器为什么要用TinyML？

微控制器如Arm Cortex-M系列是ML的理想平台，因为它们已经在任何地方使用。它们能够快速高效地进行实时计算，因此可靠性高，响应速度快，而且由于它们耗电量很小，因此可以部署在更换电池困难或不方便的地方。或许更重要的是，它们的价格便宜，几乎可以在任何地方使用。市场分析机构IDC报告称，2018年微控制器销量为281亿个，并预计到2023年，年出货量将增长至382亿台。

微控制器上的ML为我们提供了分析和理解物联网产生的大量数据的新技术。特别是，深度学习方法可以用来处理信息和理解来自传感器的数据，这些传感器可以检测声音、捕捉图像和跟踪运动。

以紧凑的格式进行高级模式识别

通过研究机器学习所涉及的数学，数据科学家发现他们可以通过做某些改变来降低复杂性，比如用简单的8位运算代替浮点运算。这些变化创造了机器学习模型，这些模型工作效率更高，所需的处理和内存资源要少得多。

TinyML技术正迅速发展，多亏了新技术和敬业的开发人员。就在几年前，我们还在庆祝微控制器能够运行一个语音识别模型，它只使用15KB的代码和22KB的数据在一个受约束的Arm Cortex-M3微控制器上检测到某些单词，就能够唤醒系统。

从那时起，Arm推出了一种新的机器学习（ML）处理器，名为Ethos-U55，这是一款专门为在面积受限的嵌入式和物联网设备中加速机器学习（ML）推理而设计的微型处理器。Ethos-U55与支持人工智能的Cortex-M55处理器相结合，将显著提升ML性能，并比我们今天看到的已经令人印象深刻的示例提高能效。我们预计芯片将在未来12个月内上市。

TinyML将端设备提升到新层次

TinyML的潜在用例几乎是无限的。方案商已经在与TinyML合作探索各种新的想法：响应的交通信号灯可以改变信号以减少交通拥堵，工业机器可以预测何时需要服务，传感器可以监测农作物是否有害虫，店内货架可以在库存减少时要求重新补货，医疗保健监测仪在保持隐私的同时跟踪生命体征...等等。

TinyML可以使端点设备更加一致和可靠，因为不需要依赖繁忙、拥挤的互联网连接将数据来回发送到云端。减少甚至消除与云的交互有很大的好处，包括减少能耗、显著减少处理数据的延迟和安全性，因为不传输的数据不会受到攻击。

这些在微控制器上执行推理的TinyML模型并不打算取代目前在云端进行的更复杂的推理，这一点毫无价值。他们所做的是将特定的功能从云端下载到终端设备。这样，开发人员就可以在需要时节省云交互。

TinyML还为开发人员提供了一套强大的工具。ML使检测基于规则系统难以识别的复杂事件成为可能，因此端点AI设备可以开始进行全新的处理模式。此外，由于ML可以用文字或手势来控制设备，而不是按钮或智能手机，因此端点设备可以更坚固，并且可以在更具挑战性的操作环境中部署。

TinyML发展势头强劲，生态系统不断扩大

业内人士很快认识到了TinyML的价值，并迅速采取行动，创建了一个支持性的生态系统。从热情的业余爱好者到经验丰富的专业人士，各个级别的开发人员现在都可以进行开发，并且易于开始。所需要的只是一台笔记本电脑、一个开源软件库和一根USB电缆，将笔记本电脑连接到价格低至15美元的廉价开发板即可。

Arm是TinyML的有力支持者，因为我们的微控制器架构是物联网的核心，而且我们看到了设备上推理的潜力。Arm与Google的合作使得开发人员能够更容易地在有能力的环境中部署端点机器学习。Arm CMSIS-NN库与谷歌TensorFlow Lite微框架的结合，使数据科学家和软件开发人员无需成为嵌入式编程专家，就可以利用Arm的硬件优化。除此之外，Arm还在为Cortex-M硬件优化工具Keil MDK以及我们的物联网操作系统Mbed OS投入巨资，以帮助开发人员在部署ML应用程序时快速从原型到生产。

如果没有一些早期的影响者，TinyML是不可能的。Pete Warden是TinyML的“创始之父”，也是Google TensorFlow Lite Micro的技术负责人，Arm创新者Kwabena Agyema开发了OpenMV，该项目致力于支持机器学习算法的低成本、可扩展、Python驱动的机器视觉模块；Arm创新者Daniel Situnayake是TinyML的创始工程师；来自Edge Impulse的开发人员，该公司提供了一个完整的TinyML管道，包括数据收集、模型培训和模型优化。此外，Arm合作伙伴，如Cartesiam提供NanoEdge AI，该公司根据在实际情况下观察到的传感器行为，在端点上创建软件模型，从而将TinyML推向了另一个层次。

Arm也是TinyML基金会的合作伙伴，该基金会是一个开放的社区，负责协调会面，帮助人们联系、分享想法和参与其中。