2020年04月09日 | TinyML—打开超低功耗机器学习大门的钥匙

翻译自——embedded

如果你把人工智能和物联网相结合，你会得到什么?AIoT是一个简单的答案，但你也得到了一个巨大的微控制器的应用新领域，这得益于神经网络技术的进步，意味着机器学习不再局限于超级计算机的世界。如今，智能手机应用程序处理器可以执行图像处理、推荐引擎和其他复杂功能的人工智能推理。

数十亿物联网设备的生态系统将在未来几年获得机器学习能力

我们将这种能力应用到不起眼的微控制器中是一个巨大的机会。想象一下，我们可以使用人工智能过滤对话中的背景噪音的助听器，也会有识别用户面部并切换到其个性化设置的智能家电，这些以AI驱动的传感器节点可以用最小的电池运行数年。这也在端点处理数据提供了不可忽视的延迟、安全和隐私优势。

然而，利用微控制器设备实现有意义的机器学习并非易事。例如，人工智能计算的一个关键标准——内存，它经常受到严重限制。但数据科学正在迅速发展，以缩小模型的尺寸，设备和IP供应商正通过开发工具和整合为现代机器学习需求量身定制的功能来应对。

TinyML 横空出世

作为该行业快速增长的一个标志，TinyML峰会正变得越来越强大。据组织者说，去年举办的首届峰会有11家赞助公司，而今年的活动有27家，而且门票销售时间也早得多。他们的全球设计师月度聚会的会员人数大幅增加。

一批企业正在利用TinyML相关的技术与产品，探索如何在这些无处不在的小型设备上，更好的搭载机器学习，以便提高设备的分析能力和运行效率。

TinyML是不同技术领域和推动因素的交集，它位于物联网设备、机器学习和边缘计算之间的结合部，并因为多种驱动力的综合作用，进展很快。

在TinyML 2020峰会上，英伟达、ARM、高通、谷歌、微软、三星等公司纷纷展示了微型机器学习的最新成果。这是TinyML峰会的第二届，这次他们得出了一些重要的结论：

●对于很多应用场景，TinyML技术和硬件已经进化到实用性较强的阶段；

●无论是算法、网络，还是低于100KB的ML模型，都取得了重大突破；

●视觉和音频领域的低功耗需求快速增长。

何为TinyML？

分布最广的物联网设备往往体积很小、电量有限。它们被作为终端硬件，通过嵌入式传感器采集各种数据；计算能力有限，对功耗极为敏感。这类设备也能实现机器学习吗？

一个趋势是，人工智能AI正在加快速度从“云端”走向“边缘”，进入到越来越小的物联网设备中。

在终端和边缘侧的微处理器上，实现的机器学习过程，被称为微型机器学习，即TinyML。更准确的说，TinyML是指工程师们在mW功率范围以下的设备上，实现机器学习的方法、工具和技术。

TinyML委员会联合主席、高通的Evgeni Gousev在展会上表示：“我们看到了一个新世界，TinyML技术带来了数以万亿计的智能设备，它们可以感知、分析和自主行动，为所有人创造一个更健康、更可持续的环境。” Gousev将这种增长归因于更节能的硬件和算法的发展，以及更成熟的软件工具的结合。他指出，企业和VC的投资正在增加，初创企业和并购活动也在增加。

如今，TinyML委员会相信这项技术已经得到验证，在微控制器中使用机器学习的初始产品将在2-3年内上市。“杀手级应用”预计将在3-5年内问世。

去年春天，当Google首次演示了用于微控制器的TensorFlow框架版本时，技术验证的一个重要象征。微控制器的TensorFlow Lite被设计为在只有千字节内存设备上运行(核心运行时在Arm Cortex M3上只有16 KB，并且有足够的操作员运行语音关键字检测模型，总共需要22 KB)。它只支持推理(不支持训练)。

大玩家

大型微控制器制造商当然正饶有兴趣地关注着TinyML社区的发展。随着研究使得神经网络模型越来越小，它们的机会也越来越大。

大多数都支持机器学习应用程序。例如，意法半导体有一个STM32Cube扩展包。是一个人工智能，使映射和运行神经网络在其STM32系列的Arm Cortex-M为基础的微控制器。

瑞萨有自己的e-AI开发环境，允许在微控制器上实现AI推理。它有效地将模型转换为一种在e2 studio中可用的形式，并与C/ c++项目兼容。

e2 studio ISDE专为Synergy平台而设计，并提供相关工具以用于软件设计流程的三个阶段：准备阶段、构建阶段和调试阶段。

对于准备阶段，e2 studio配备用于硬件选项（包括MCU引脚分配）和软件选项（如RTOS线程分配）的图形配置器。内置错误检查功能可确保做出有效选择，并在出现任何冲突或违规时通知用户。

e2 studio还提供设计用于简化构建阶段的功能，如自动代码生成、内置代码模板和自动代码构造。借助关键字彩色编码、跳转声明、变量自动完成和上下文感知手册，开发人员可以节省大量时间和投入。

对于调试阶段，e2 studio提供多种方法来深入显示代码执行情况。调试工具支持动态跟踪线程执行时间和中断服务例程，并支持对整体系统行为进行可视化。全面调试和分析功能将简化实时系统事件的故障诊断流程。

NXP表示，有客户使用其低端Kinetis和LPC MCU进行机器学习应用。NXP尽管目前主要是围绕其更大的应用处理器和交叉处理器(在应用处理器和微控制器之间)。但他们正在硬件和软件解决方案上实现人工智能化。

Strong Arm-ed

大多数微控制器领域的老牌公司都有一个共同点——Arm。嵌入式处理器核心巨头以Cortex-M系列产品主导着微控制器市场。该公司最近宣布了全新的Cortex-M55核心，这是专门为机器学习应用程序设计，特别是当与Ethos-U55 AI加速器结合使用阶段。它们都是为资源受限的环境设计的。

串联使用的Arm的Cortex-M55和Ethos-U55具有足够的处理能力，可用于手势识别，生物识别和语音识别等应用

但是，创业公司和小公司怎样才能在这个市场上与大公司竞争呢?

“不是通过构建基于arm的soc !”因为他们已经做得足够好了。”“与这些对手竞争的唯一方式是拥有架构优势……(这意味着)Xcore要在性能方面的内在能力，以及灵活性下功夫。”

而XMOS的Xcore最新发布的语音接口交叉处理器——人工智能(ai)，将不会与微控制器展开直接竞争。任何制造基于arm的SoC来与大公司竞争的公司，他们手里最好有特别的秘密武器。

标度电压和频率

初创公司Eta Compute在TinyML展会期间发布了备受期待的超低功耗设备。它可以用于机器学习，在不间断图像处理和传感器融合应用的功率只有100µw。该芯片采用Arm Cortex-M3核心+NXP DSP，其中一个或两个核心都可用于ML工作负载。该公司的秘密武器有几大成分，但关键的两大核心是它在连续的基础上平衡时钟频率和电压的方式。这节省了大量的能量，特别是在没有锁相环的情况下。

Eta Compute的ECM3532使用Arm Cortex-M3内核以及NXP CoolFlux DSP内核。机器学习工作负载可以由其中一个或两个来处理

随着Arm的竞争者的浮现，包括RISC-V基金会提供的指令集架构，为什么Eta计算选择使用Arm核来实现超低功耗的机器学习加速?

Tewksbury ：“简单来说，Arm的生态系统非常发达，现在用Arm生产比用RISC-V要容易得多。这种情况在未来可能会改变……RISC-V有其自身的优势;当然，这对中国市场有好处，但我们目前主要着眼于国内和欧洲市场，以及(我们的设备)的生态系统。”

Tewksbury指出，AIoT面临的主要挑战是应用程序的广度和多样性。这个市场相当分散，许多相对小众的应用程序的销量很低。然而，总的来说，这一领域可能会扩展到数十亿台设备。

Tewksbury:“开发人员面临的挑战是，他们无法投入时间和金钱来为每个用例开发定制的解决方案。”“这就是灵活性和易用性变得绝对重要的地方。这也是我们选择Arm的另一个原因，因为Arm有自己的生态系统，有自己的工具，客户可以很容易地快速开发产品并将其推向市场，而无需进行大量的定制。”

数十年来，Arm一直对ISA严加看管，终于在去年10月宣布，它将允许客户构建自己的定制指令，以处理机器学习等专业工作负载。如果使用得当，这种功能还可能提供进一步降低功耗的机会。

Eta计算还不能利用这一点，因为它不适用于现有的Arm内核，所以不适用于M3核心。但是，Tewksbury能否在未来的产品中使用Arm定制指令来计算Eta，从而进一步降低功耗?

“当然，是的。“

可替代ISA

RISC-V今年受到了很多关注。开放源代码的ISA允许处理器设计不需要许可证费用，而基于RISC-V ISA的设计可以像任何其他类型的IP一样受到保护。设计人员可以挑选要添加的扩展，并可以添加自己的定制扩展。

法国初创公司GreenWaves是使用RISC-V内核瞄准超低功耗机器学习领域的公司之一。它的设备GAP8和GAP9分别使用8核和9核计算集群。

GreenWaves的GAP9超低功耗AI芯片架构现在使用了10个RISC-V核心

GreenWaves负责业务开发的副总裁Martin Croome向解释了公司使用RISC-V内核的原因。

Croome:“第一个原因是RISC-V使我们能够在指令集级别上定制核心，这是我们经常使用的。”定制扩展是用来减少机器学习和信号处理工作负载的能力。“公司刚成立的时候，如果你想用其他处理器架构来做这件事，要么是不可能的，要么就要花一大笔钱。”这对投资者来说是很难有下定决心为你买单的。

与未修改的RISC-V核心相比，GreenWaves的自定义扩展使其核心的能耗提高了3.6倍。但Croome也表示，RISC-V之所以具有基本的技术优势，仅仅是因为它是一种新技术。

“这是一套非常干净、现代化的指令集，它没有任何包袱。”所以从实现的角度来看，RISC-V核心实际上是一个更简单的结构，简单意味着更少的能量。”

Croome还认为控制是一个重要因素。GAP8设备在其计算集群中有8个核心，而GreenWaves需要对核心执行进行非常精细、详细的控制，以实现最大的电能效率。RISC-V能够做到这一点。

他开玩笑说到:“最后，如果我们可以用Arm来做所有这些，这将是一个更合理的选择……因为从来没有人因为购买Arm而被解雇。”“Arm软件工具的成熟度远远高于RISC-V……但话又说回来，现在对RISC-V的关注如此之多，以至于这些工具的成熟度增长得非常快。”

总之，尽管有人认为Arm对微处理器市场的控制正在减弱，部分原因是来自RISC-V的竞争加剧，但Arm从一开始就开发用于机器学习的新核心。

事实上，Arm和非Arm设备都将进入超低功耗机器学习应用程序的市场。随着TinyML社区继续致力于减少神经网络模型的大小，并开发专用的框架和工具，这个领域将会发展成为一个支持各种不同设备类型的健康应用领域。