2021年10月21日 | 安富利：告别盲人摸象，传感器融合才是智能社会的标配

今天，我们的生活高度依赖传感器。传感器作为人类“五感”的延伸，去感知这个世界，甚至可以观察到人体感知不到的细节，这种能力也是未来智能化社会所必须的。

不过，单个传感器的性能再卓越，在很多场景中还是无法满足人们要求。比如汽车中昂贵的激光雷达可以根据生成的点云，判断出前方有障碍物，但想准确得知这个障碍物是什么，还需要车载摄像头帮忙“看”一眼；如果想感测这个物体的运动状态，可能还需要毫米波雷达来助阵。

这个过程就好比我们熟悉的“盲人摸象”，每个传感器基于自己的特性和专长，只能看到被测对象的某一个方面的特征，而只有将所有特征信息都综合起来，才能够形成更为完整而准确的洞察。这种将多个传感器整合在一起来使用的方法，就是所谓的“传感器融合”。

对于传感器融合，一个比较严谨的定义是：利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。这些作为数据源的传感器可以是相同的（同构），也可以是不同的（异构），但它们并不是简单地堆砌在一起，而是要从数据层面进行深度地融合。

实际上，传感器融合的例子在我们生活中已经屡见不鲜。归纳起来，使用传感器融合技术的目的主要有三类：

• 获得全局性的认知。单独一个传感器功能单一或性能不足，加在一起才能完成一个更高阶的工作。比如我们熟悉的9轴MEMS运动传感器单元，实际上就是3轴加速传感器、3轴陀螺仪和3轴电子罗盘（地磁传感器）三者的合体，通过这样的传感器融合，才能获得准确的运动感测数据，进而在高端VR或其他应用中为用户提供逼真的沉浸式体验。

• 细化探测颗粒度。比如在地理位置的感知上，GPS等卫星定位技术，探测精度在十米左右且在室内无法使用，如果我们能够将Wi-Fi、蓝牙、UWB等局域定位技术结合进来，或者增加MEMS惯性单元，那么对于室内物体的定位和运动监测精度就能实现数量级的提升。

• 实现安全冗余。这方面，自动驾驶是最典型的例子，各个车载传感器获取的信息之间必须互为备份、相互印证，才能做到真正的安全无虞。比如当自动驾驶级别提升到L3以上时，就会在车载摄像头的基础上引入毫米波雷达，而到了L4和L5，激光雷达基本上就是标配了，甚至还会考虑将通过V2X车联网收集的数据融合进来。

总之，传感器融合技术恰似一个“教练”，能够将性能各异的传感器捏合成一个团队，合而为一又相互取长补短，共同去赢得一场比赛。

选定了需要融合的传感器，怎么融合则是下一步要考虑的问题。传感器融合的体系结构，按照融合的方式分为三种：

• 集中式：集中式传感器融合就是将各个传感器获得的原始数据，直接送至中央处理器进行融合处理，这样做的好处是精度高、算法灵活，但是由于需要处理的数据量大，对中央处理器的算力要求更高，还需要考虑到数据传输的延迟，实现难度大。

• 分布式：所谓分布式，就是在更靠近传感器端的地方，先对各个传感器获得的原始数据进行初步处理，然后再将结果送入中央处理器进行信息融合计算，得到最终的结果。这种方式对通信带宽的需求低、计算速度快、可靠性好，但由于会对原始数据进行过滤和处理，会造成部分信息的丢失，因此原理上最终的精度没有集中式高。

• 混合式：顾名思义，就是将以上两种方法相结合，部分传感器采用集中式融合方式，其他的传感器采用分布式融合方式。由于兼顾了集中式融合和分布式的优点，混合式融合框架适应能力较强，稳定性高，但是整体的系统结构会更复杂，在数据通信和计算处理上会产生额外的成本。

对于传感器融合方案，还有一种按照数据信息处理阶段进行分类的思路。一般来说，数据的处理要经过获取数据、特征提取、识别决策三个层级，在不同的层级进行信息融合，策略不同，应用场景不同，产生的结果也不同。

按照这种思路，可以将传感器融合分为数据级融合、特征级融合和决策级融合。

• 数据级融合：就是在多个传感器采集数据完成后，就对这些数据进行融合。但是数据级融合处理的数据必须是由同一类传感器采集的，不能处理不同传感器采集的异构数据。

• 特征级融合：从传感器所采集的数据中提取出能够体现监测对象属性的特征向量，在这个层级上对于监测对象特征做信息融合，就是特征级融合。这种方式之所以可行，是由于部分关键的特征信息，可以来代替全部数据信息。

• 决策级融合：在特征提取的基础上，进行一定的判别、分类，以及简单的逻辑运算，做出识别判断，在此基础上根据应用需求完成信息融合，进行较高级的决策，就是所谓的决策级融合。决策级融合一般都是应用导向的。

如何选择传感器融合的策略和架构，没有一定之规，需要根据具体的实际应用而定，当然也需要综合算力、通信、安全、成本等方面的要素，做出正确的决策。

不论是采用哪种传感器融合架构，你可能都会发现，传感器融合很大程度上是一个软件工作，主要的重点和难点都在算法上。因此，根据实际应用开发出高效的算法，也就成了传感器融合开发工作的重中之重。

在优化算法上，人工智能的引入是传感器融合的一个明显发展趋势。通过人工神经网络，可以模仿人脑的判断决策过程，并具有持续学习进化的可扩展能力，这无疑为传感器融合的发展提供了加速度。

虽然软件很关键，但是在传感器融合过程中，也并非没有硬件施展拳脚的机会。比如，如果将所有的传感器融合算法处理都放在主处理器上做，处理器的负荷会非常大，因此近年来一种比较流行的做法是引入传感器中枢（Sensor Hub），它可以在主处理器之外独立地处理传感器的数据，而无需主处理器参与。这样做，一方面可以减轻主处理器的负荷，另一方面也可以通过减少主处理器工作的时间降低系统功耗，这在可穿戴和物联网等功耗敏感型应用中，十分必要。

有市场研究数据显示，对传感器融合系统的需求将从2017年的26.2亿美元增长到2023年的75.8亿美元，复合年增长率约为19.4％。可以预判，未来传感器融合技术和应用的发展将呈现出两个明显的趋势：

• 自动驾驶的驱动下，汽车市场将是传感器融合技术最重要的赛道，并将由此催生出更多的新技术和新方案。

• 此外，应用多元化的趋势也将加速，除了以往那些对于性能、安全要求较高的应用，在消费电子领域传感器融合技术将迎来巨大的发展空间。

总之，传感器融合为我们洞察这个世界提供了更有效的方法，让我们远离“盲人摸象”般的尴尬，进而在这个洞察力的基础上，塑造更智能的未来。