物联网边缘的智能视频分析技术

作者：Tyler Jesiel

对数成像和节点分析组合

使用节点分析和对数成像器可改进物联网(IoT)中的视频分析应用。视频分析应用试图利用日常世界中丰富的信息资源，出于几个原因考量。包括日常监控的人脸识别，但大部分原因集中在预测分析和行为分析上。这些应用中收集到的信息可通过云计算进行更高端的广泛处理。然而，深度处理有其局限性，并且可以通过往组合中增加节点分析和对数成像器在很多方面加以改进。

通过往组合中增加节点分析，减轻与云之间的通信，可以改进数据分析。云计算的带宽需求比节点分析应用多出两个（如果不是三个）数量级。因此，节点分析的计算能力要求更低，并可减少延迟。人口稠密的市场、交通混乱的地区以及城市停车场都是一些环境错综复杂的地方，可使用节点分析进行检测，以进行预测和行为分析。在云中对这些环境进行高级处理有助于制定业务策略，疏导交通流量，并可提高政府管理的停车场的效率。然而，在传感器节点处采用低端软件，而不是执行云分析，可改进这些场景的延迟、带宽、安全和功耗。

除了节点处实现智能化，往组合中增加对数成像器对于传统成像器不符合要求的领域也具有优势，从而增强系统功能。除了减少对亮度变化的依赖性，对数成像器还提供更高的图像处理动态范围。例如：在阴影、反光、光线突变以及高对比度场景中，对数成像器的表现都优于传统成像器。在视频应用中，这些问题的解决有利于数据捕捉，从而加强节点的分析能力。通过提高数据捕捉能力，整个视频分析应用都可得到显著改进。

节点分析技术和对数成像器实现的改进有助于解决物联网中的视频分析应用问题。安全、决策制定延迟、数据带宽和计算能力是物联网应用中常见的一些工程难题。通过减少数据传输可大大减少这些工程问题，而这也是节点分析对物联网应用具有吸引力的原因。在视频分析应用中，有限的对比度和亮度依赖性是需要共同解决的难题。对数成像器是视频分析应用的关键，几乎可以解决这一难题。总的来说，使用节点分析技术和对数成像器可增强物联网中的视频分析应用。

智能边缘

通过处理基于预期视觉事件的数据，可迅速地将测量数据转换为适当的动作，不必向云服务器传输任何数据，或传输少量数据。对视频数据进行快速分析，而不是将其传至云，可在本地做出决策，从而改进系统的延迟性。通过减少传输具有拦截风险的数据，不仅能够明显减少决策延迟，而且安全性也得以提高。

只有最有价值的信息需要传输至节点之外的云中，以进行预测或行为处理。经过优化的数据划分可充分发挥云价值，因为通常不需要全带宽的视频分析帧。在固定安装的摄像机上，帧与帧之间的大部分可视数据为静态数据，并可在节点进行滤波处理。边缘节点视频分析可提供多种滤波解读来区分各种预期的对象类型：汽车、卡车、自行车、人类和动物等。这种抽取操作减少了云服务器上所需的数据带宽和相关的计算能力，而如果要分析下游发送的全帧速率视频数据，则会占用大量的数据带宽和计算能力。与云计算应用相比，这种带宽的减少可实现两个或三个数量级的改进，而这是节点分析技术实现的一个关键性能改进。

对数成像

通过替换为对数成像技术可解决与传统成像器相关的常见问题，从而进一步改进视频分析应用。大多数传统成像器都是线性成像器，其使用像素生成的电压作为光的线性函数，而此类像素则会导致有限的对比度。线性成像器还利用统一的曝光相位，限制了其相对于帧速率范围内像素曝光时间的动态范围。最后，传统成像器的对比度取决于亮度，从而可能导致反光相关的对比度问题。通过替换成对数成像器可消除这些常见的问题，对数成像器使用像素生成的电压作为光的对数函数。传统成像器与对数成像器之间的区别请参见图1、2和3。

图1. 传统的图像曝光。

图2. ADIS17002对数图像曝光。

图3. 使用内置边缘检测技术的ADIS17002对数图像曝光。

一些传统的成像器在努力解决阻碍用户全面捕捉其目标环境数据的对比度相关问题。这些对比度问题源于每个像素中生成电压的线性特性。线性成像像素中生成的电压与照射的光子数成正比；因此，与对数成像相比，其动态范围是有限的。降低与这些线性成像器相关的对比度就意味着缩小动态范围。对比度降低会对物联网应用中传感器节点的分析产生不利影响，最终影响系统的整体性能。对数成像器提供更广泛的亮度级范围，从而增加因对数生成的像素电压产生的对比度。然而，对比度的增加导致更高的感光性，这在有些应用中可能并不是期望的效果。或者，感光性 的提高也可能是一种优势，具体取决于应用。

阳光充足或明亮环境下产生的反光可能会进一步阻碍使用传统成像器进行视频捕捉。例如：当挡风玻璃上存在反光时，汽车内部的人脸识别就会变得益发困难。这种视频捕捉障碍会将错误引入系统或丢失重要数据，从而对视频分析产生不利影响。由于线性成像器像素之间的对比度取决于亮度，所以会产生反光；因此，线性成像器的反光更加突出。这种对亮度的依赖性见等式1。另外，对数成像器的对比度则由于其本身的对数特性而与亮度无关，从而有助于减少反光或光线的突变。对数成像器与亮度无关的特性见等式2。

超越单个组件的研发

为了提供平台级解决方案，ADI公司开始超越单个组件的研发；这些解决方案可帮助客户快速部署经过验证的智能解决方案，以更低的系统成本实现更高的性能。智能应用始于准确可靠的数据，通过ADI先进的检测和测量功能可获得此类数据。此外，ADI还与客户合作，共同开发能够解决所有问题的独特系统级解决方案。ADIS1700x是其中一种解决方案，它能够实现四分之一的视频图形阵列(QVGA)成像分析。

图4. 功能框图。

ADIS1700x是一个小尺寸且具有对数敏感性的QVGA分析成像器模块，具有能够优化视频性能的数字信号处理功能。除了用于图像稳定、倾斜和冲击检测的加速度计，该模块还采用低功耗Blackfin处理器进行节点分析。此外，它还采用内置边缘检测技术跟踪和计算对象运动。与传统成像器不同的是，对数成像器的每个14 μm × 14 μm像素都具有一个独一无二的曝光相位。针对室外操作的保形涂层使其非常适用于大规模部署，从而可创建新兴智能城市和建筑应用。ADIS17001 配备110°视场(FOV)镜头，而ADIS17002则配备67°FOV镜头。这两个选项适用于各种目标应用，包括停车场监控、停车违章执法、车流长度检测和工业分析。

图5. ADIS17002：对角方向（左）、电路板镜头侧俯视（中）和背侧（右）。

总的来说，使用节点分析技术和对数成像器可显著改进物联网领域的视频应用，这也是ADI公司与ADIS1700x模块产品一起推出的方法。节点分析而不是云计算有利于物联网应用的发展。对数成像器具有其竞争产品无法匹敌的优势，可更进一步改进物联网应用。总之，物联网领域的视频分析应用与节点分析技术和对数成像器相结合，共同构成一个鲁棒的系统级解决方案。

关于作者

Tyler Jesiel是ADI公司自主惯性MEMS部的产品工程师，主要负责系统级封装(SiP)解决方案和惯性测量单元(IMU)。他拥有特性、设计验证和测试自动化方面的经验。Tyler获得密歇根大学安娜堡分校电气工程学士学位，目前正在努力攻读北卡罗来纳州立大学电气工程硕士学位。