2020年11月20日 | i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算

本文作者：NXP Ben Eckermann

云计算、边缘计算和基于视觉的系统已经应用在越来越多的工业和消费系统中。此外，许多现代系统还采用机器学习和人工智能来增强用户体验，这种方法通常要求嵌入式系统设计者使用各种不同的SoC和专用处理器来完成所有这些任务。

然而，NXP决定采取不同的方法，他们将图像信号处理器（ISP）、用于机器学习加速的神经处理单元（NPU）和MPU集成在一个器件中——先进的i.MX 8m Plus应用处理器。

图1 i.MX 8M Plus应用处理器。

云计算与边缘计算

为了理解i.MX 8M Plus应用处理器为什么为边缘计算提供强大的解决方案，需要一些背景知识。

云计算是指在用户使用内部网络范围之外的计算资源，这些资源可以是任何种类的。但是，它们通常用于执行要求高的任务和数据存储。

通常，基于云的数据中心并不是一个用户或组织所独有的，资源在所有用户之间共享，被称之为公有云。公共云服务使用现收现付模式，这意味着如果上传不必要或杂乱的数据在云中进行处理，成本可能会迅速增加。

这就是边缘计算可以派上用场的地方。边缘计算将用户和云之间的一些资源放在他们的网络中。但是，通常并非所有的计算都在边缘执行，取而代之的是，在数据上传到云端之前，利用边缘资源过滤数据并丢弃不需要的元素，从而避免不必要的成本。通常，机器学习和人工智能被用来自动分类结果，并且只将相关信息上传到云端。

然而，也可以完全忽略云，在边缘处理器上本地运行所有机器学习推理——例如，i.MX 8M Plus应用程序处理器。

与云计算相比，使用边缘计算的潜在好处

边缘计算（如i.MX8m Plus提供的）提供了一系列可能优于云计算的优势，值得更仔细地考虑。

除了成本因素外，上传到云端的数据的减少也会降低整体网络流量，这会加速其他依赖网络的应用程序。这不仅提高了处理者专门任务的效率，而且还为其他辅助活动和优先事项腾出了关键资源。

接下来，在本地运行推理意味着应用程序可以继续运行，即使在云服务离线或网络连接中断的情况下。这可能是一个重要的因素，尤其是对于安全关键的用例，但对于其他连接的应用程序，如家庭安全设备，也是如此。

此外，与使用云服务相比，此解决方案提供了更好的延迟和更短的响应时间。低延迟非常重要，例如，在执行工厂目视检查和其他时间紧迫的应用程序时。

最后，用户隐私是另一个需要考虑的因素。在处理机密数据时，每个外部服务都存在潜在的安全风险。因此，将重要信息保持在用户网络的范围内可以提高整个应用程序的安全性。这不仅对工业用户很重要，而且对私人用户和客户都很重要，例如，当使用语音助手或处理个人视频和图像文件时。

需要多少机器学习性能？

对于云计算，机器学习性能通常不是问题或限制因素。然而，当在边缘执行这些操作时，问题变成了功效比。衡量机器学习性能的一种流行方法是TOPS，它是每秒万亿（tera）操作数的缩写，顾名思义，它是指每秒操作数（通常为8位整数乘法或累加）。尽管整个系统的性能将依赖于更多的因素，但TOPS仍然经常用于快速比较机器学习系统的性能。

在边缘的完全语音识别（不仅仅是关键字识别）需要大约1到2个TOPS。需求很大程度上取决于所使用的算法以及理解用户所说的内容，例如，每秒钟检测一个物体需要大约3帧的处理性能。

由于边缘的处理和机器学习变得越来越相关，NXP在i.MX 8M Plus应用处理器上增加了一个性能约为2.3 TOPS的机器学习加速器，这使得它能够很好地满足各种工业任务和许多其他应用，而无需使用外部基于云的服务。

图2 i.MX 8M Plus应用处理器配备齐全，可用于各种利用基于云的外部服务的工业任务。

i.MX 8M Plus可用于嵌入式视觉系统

如果考虑摄像头的应用，其中之一是基于工业视觉识别的系统，在自动光学检测后，在生产线的末端丢弃有缺陷的零件。所有这些系统都需要视觉输入，例如，来自摄像机的图像。ISP功能存在于每个基于摄像头的系统中。通常，图像信号处理器存在于外部设备（如相机本身）中，并隐藏在远离用户的地方。这类ISP通常负责一些不同的图像优化和过滤任务。

在许多情况下，人们可以不使用专用的ISP，例如，当使用一个简单的USB网络摄像头时。然后，将ISP内置在摄像头中。

然而，这类ISP也有其局限性，它们通常只适用于分辨率低于200万像素的设备。此外，在某些情况下，对ISP的控制缺失，增加的系统复杂性和功耗等都会成为问题。

当需要高于200万像素（1080p）的图像分辨率时，嵌入式系统设计者可以利用外部ISP，这反过来又会增加系统的整体复杂性和功耗。或者，设计者可以使用一个内置ISP的应用处理器，比如i.MX 8mplus。这种方法提供了一个优化的成像解决方案，特别是在200万像素和更高分辨率下，而不会增加系统的复杂性。

总结

边缘计算比云计算有一些诱人的优势，它有可能改变我们未来的工作、生活和休闲方式。其中一些好处包括增加了可靠性、可伸缩性和安全性，并减少了延迟。

借助i.MX 8M Plus应用处理器，NXP结合了两个因素，使现代应用程序处于边缘地位。这种新的微处理器将鼓励众多创新工业设备和消费级产品的开发。它包括一个ISP，用于构建需要高分辨率输入数据的现代视觉系统。

来自ISP的图像信息可以直接输入到内置的NPU中，以满足依赖图像数据的高速应用程序，同时保持CPU空闲以执行其他任务。此外，i.MX 8M Plus应用处理器还提供了一些有亮点的其他功能，例如，具有时间敏感网络的以太网控制器、支持ECC的DRAM控制器以及用于各种应用的不同内核。

使用i.MX 8M Plus应用处理器，无论是智能家居中心、智能楼宇控制还是工业应用，基于高能力视觉的应用在边缘的可能性几乎是无穷无尽的。