2020年10月13日 | 汽车传感器融合设计需要避开哪些坑？

本文来源：SemiEngineering

汽车工业正致力于将传感器融合作为处理日益自主车辆所需复杂性和可靠性的最佳选择，从而为如何在车辆内部管理和利用来自多个设备的数据创造了又一个转变。

事实证明，朝着更大的自主性迈进的过程比任何人起初预期的都要复杂得多。对于高可靠性和零现场故障的长寿命要求。此外，这些车辆必须安全可靠，并在所有天气和驾驶条件下充分了解周围环境。他们需要在一个可以承受的成本点上这样做。

这使得传感器融合成为未来发展的一个焦点，它将多种互补的传感方式结合在一起。

Synopsys的首席研发工程师Pieter van der Wolf说：“如果我们更仔细地研究ADAS，以及它在汽车中的适用性，我们会发现许多子系统都用于许多不同的功能。”。“雷达、激光雷达和摄像头等不同的技术都应用在一辆车上，例如，用于巡航控制的远程雷达、检测其他交通的短程雷达，以及用于其他各种功能的激光雷达和基于摄像头的子系统。而且，由于汽车中有太多的子系统，因此组件成本非常重要。”

每种传感器模式都基于不同的物理原理、不同的目标和不同的模式，他们都有一个明确的目的。其中一些是重叠的，但它们都需要单独运行，也需要一起运行。

OnSemiconductor负责全球汽车战略和业务发展的副总裁Joseph Notaro说：“雷达用于探测、定位和跟踪相当距离的物体。“激光雷达使用光来测量距离（可变距离）来生成周围区域的3D图像。视觉传感器捕捉通过透镜的光子，产生一个“图像”，不仅可以帮助检测，而且可以识别物体、交通标志、行人。实时操作对于AV/ADAS系统是必不可少的，因此每个传感器捕获的数据的同步是AV/ADAS系统面临的主要挑战之一，以提取准确和相关的信息。每个传感器用于捕获信息的技术各不相同，因此，要有效地‘融合’这些不同的数据集，必须深入了解每种模式的工作方式。”

汽车工业在定义电气/电子（E/E）体系结构方面发生了重大变化，最初的想法是把一台超级计算机放在一辆车的中间，在侧面装上传感器。由于功耗、体积等多种原因，这是不现实的。

“在这种模式下，我们将传输所有数据并在一个地方处理数据。”Cadence汽车解决方案主管Robert Schweiger说。“人们很快意识到，车内的网络连接，无法提供原始传感器数据传输所需的带宽。但是传感器融合最大的挑战是每个人都在做一个专有的解决方案。这就是为什么我们还没有达到L3自动驾驶的重要原因。”

面向目标融合

汽车结构的变化无处不在。西门子公司Mentor的无人驾驶和ADAS SoCs高级主管David Fritz说：“一段时间以来，原始传感器融合是一件大事。如何引入所有这些原始数据并进行集中处理，以便进行比较并进行处理？这个行业的发展趋势是，大家都意识到了这一点，无论是Sony传感器、OEM、Tier1或者Tier2。在过去的一两年里已经有了一些突破，尤其对于工程上更有意义。”

直到最近，人们还认为一切都是计算复杂的，而人工智能是一切所必需的，这消耗了大量的能量。

Fritz说：“我们的想法是要进行大量的培训，所以集中使用一些Nvidia GPU或NPU之类进行训练。现在的情况是，从那些高性能、高成本的解决方案转向基于Arm的、非常小、非常低功耗、非常划算的解决方案，并且摆脱通用人工智能推断引擎，转向了可以自动生成和定制的解决方案。”

有两个原因说明这一点非常重要。“首先，你有机会训练这些人工智能算法来处理传感器特有的情况，例如，一个传感器对雾的处理可能不同于另一个传感器，因此一个能够处理所有可能性的中央计算机就没有意义了。同样，你必须考虑到随着时间的推移，传感器可能会退化。例如，对于不同的图像传感器，这可以做得非常不同，你可以训练你的算法来适应这种情况。在传感器级别有很多事情需要在传感器级别处理。第二，与其在汽车里通过一个大而重的网络发送这些兆字节的原始数据，为什么我们不发送一个32字节的短数据包，上面写着“这是一个母亲推着婴儿坐在车厢里。这就是它们在三维空间中的位置，这就是它们的发展方向。这难道不比我们称之为对象的中心计算过程更有意义吗？这将成为对象融合，而不是原始传感器融合。”

“在以太网方面，现在我们已经有了1 Gbps的传输能力，它可能仍然不够快，无法连接高端雷达传感器。”Schweiger说。“所以我们需要达到2.5到5，甚至10 Gbps。最新发布的MIPI A-PHY，它提供了16 Gbps。”

另一个趋势是向先进制程发展，因为承担中央计算用途的SoC非常复杂且巨大。“我们在硅领域看到了各种各样的巨型芯片，拥有更多的处理能力和更多的接口，客户正在向7nm、5nm方向移动，”Schweiger说。

传感器融合问题

传感器融合中的一个大问题是软件体系结构的竞争。这包括从AUTOSAR自适应软件到开源软件（如Autoware）、特斯拉（Tesla）、Waymo和戴姆勒（Daimler）的专有解决方案，以及Nvidia和Intel的商业平台，这只是架构方面的问题。

此外，还有来自Nvidia、Intel、Visteon和Aptiv等公司的竞争硬件平台。这些公司都在建设自己的硬件平台，所以目前还没有标准。这些公司都在创建一个平台，并试图赢得客户。Nvidia被认为是领先的，因为它已经进入市场相当长一段时间，随着CUDA软件环境的发展，其平台也在不断发展。但是，虽然它被认为是一个伟大的原型系统，但它太贵了。戴姆勒（Daimler）有望在明年推出一款S级轿车，实现L3自动驾驶。对于戴姆勒来说，这种自动驾驶平台的成本可以分摊到一辆昂贵的豪华车上。对于价格较低的汽车，情况并非如此。

再加上专有的人工智能芯片、硬件加速器和接口标准，以及高功耗和传感器鲁棒性，自主车辆系统的开发开始变得更加令人望而生畏。

数据问题

雷达和激光雷达数字信号处理芯片的另一个关键组成部分是互连，它在芯片内的不同处理元件之间来回传输数据。在这方面，目前还没有标准，尽管它们是需要的。

Arteris IP市场部副总裁Kurt Shuler说：“不管是在传感器芯片上还是在ADAS处理器上，最终，你希望能够用符号的方式来解释一切，并且有一个中间层，这样一旦你得到这些数据，传输的数据就可以用某种通用的格式来表达，即使他们来自两个不同的公司。我不知道的是，将一些内容从原始数据格式转换为有用的格式需要多少的处理量。但最终，必须有一种数据格式。”

目前，数据的首要问题是数量，以及更多的来源地。Rambus的研究员和杰出发明家Steve Wu说：“我们希望未来的数据传输速度更快，分辨率也会更高。举个简单的例子，可能会有一个带摄像头的视频，只是在查看车前的东西。但为了不错过任何细节，需要更多的数据。问题是我们需要保留多少数据才能做出正确的决定，为了做出一个好的决策，数据基本上需要存储在内存中，因为需要能够快速地通过数据流进行分析并找出发生了什么。”

职能问题

在这个复杂的背景下，传感器需要正常工作，但传感器的性能只有在理想条件下才是最好的。

Ansys的杰出工程师Larry Williams说：“然而，即使在理想的条件下，将雷达、激光雷达、摄像头、可能还有惯性导航和某种加速度计的响应结合起来也是一个挑战。我们还研究了这些传感器在实际环境中的退化情况。假设雷达能看到你周围有多辆车，你想确定是自行车还是人骑自行车。系统会比较这些信息，或者包含和融合来自摄像头的信息，然后根据这些信息是否合理做出决定。但在非理想情况下，例如，我们都有在傍晚开车回家的经历，在阳光直射下向西旅行。太阳也在摄像头的里。摄像机在这样的情况下会不准确，雷达就不会。好的是有多种感知方式，一个可以在退化时增强另一个。但在其他情况下，退化可能更严重，尤其是在下雨的时候。在雨中，整个环境变得更为恶劣。相机镜头上有雨滴堆积，这会使图像失真。不仅仅是天空中的降水，还有另一辆刚刚驶过的车，它会把多余的雨滴吹到摄像头上。我们一直在探索的一件事是在现实世界中发生的事情，而不是在理想环境中发生的事情。我们可以刺激理想的环境。但随着传感器性能的下降，如何避免系统性能降低呢？即使在理想的环境下也很难做到这一点。”

Williams指出：“我们非常依赖人工智能来说明我们如何在这些车辆上训练人工智能引擎，以了解它们的环境，我们可以做到这一点。但是从模拟的角度来看，我们会考虑如何进行这种训练。一般来说，这是呈现给人工智能引擎，车内的大脑。它有很多不同的案例，用来识别或分类场景中的物体。这是反复进行的，这最终训练了人工智能引擎内的机器学习方法中的神经网络来理解这些事情。你怎么训练它？您需要在带有仿真的测试环境中执行数千个案例。丰田的CEO曾说过一句非常著名的话，在你使这些车足够安全之前，需要行驶88亿英里，当然不可能实际跑88亿英里。Waymo、Tesla和其他人把他们所有的数据汇总在一起，最后的报告说他们只有大约600万英里的记录。你得做1000次才能更接近。仿真及分析对此类工程任务和软件开发是非常重要的。”

实际上88亿公里并不是关于行驶里程的问题，而是关于可以捕捉到的一切场景，其中包括一系列永远不会碰到的场景。

Ansys高频产品高级经理Shawn Carpenter说：“假设我在测试一个道路场景，一边是一辆加油车，另一边是一辆校车，我们碰上了一块冰。很难用真实场景来模拟，但在仿真中，我可以创造任何可能。我可以仿真模拟生命或财产损失的情况，但永远也不会得到任何形式的许可来真实测试，而且我可以真正检查主动安全系统，这是我在公路上永远做不到的。”

安保问题

安保（Security）是越来越自主的汽车的另一个方面，这是一个备受关注的问题，因为传动系必须连接到互联网，以便在其整个生命周期内进行无线更新。安保和安全的结合使得这一切变得更加迫切。

Mentor的Fritz说：“仅仅是安保或者安全本身就留下了一个很大的漏洞。一旦我们了解了可靠性和安全性，就知道安保不是软件问题。真正的安保是硬件问题。我们必须能够证明从重要信息和外部世界没有物理路径，但运行在其中的软件确实又能够以安全的方式访问这些信息。大多数黑客是通过堆栈溢出或某种机制进入的。这些很容易关闭，但这并不妨碍他们找到一些没人考虑过的东西，如果外部世界和这些专有信息之间没有实际联系，他们就永远也得不到。这里需要的是SoC本身，以保证在任何密码或密钥或类似的东西中与外界隔离，这需要一个IP安全部分。”

这就是为什么所有东西都被整合到SoC上的部分原因，但这种整合本身也会带来问题。“一个习惯于用100个ECU构建一个完全基于微控制器的系统的客户如何向整合系统过渡？”Cadence的Schweiger问道。“SoC提供了许多整合系统的机会，使其更小、更节能、更高性能，因此所有这些选项都可用。但如果你从未设计过SoC，那就意味着你必须建立一个真正理解SoC设计或体系结构的团队。当然，你可以和服务机构合作构建芯片，但是需要有人来定义spec，而且必须有一定程度的理解。这就是为什么总有OEM雇佣芯片设计师自己做芯片，也有其他OEM可能更不愿意在这一领域发展。但归根结底，如果你真的对自动驾驶很认真，你很可能需要进入芯片设计领域。”

他们还需要了解如何在这些芯片中构建安保性。“我们越来越多地看到，人们已经认识到安保的重要性，而安保性是那些你不能设计自己的系统，然后尝试对其进行改造，希望有一个真正保密的环境。因此，当人们现在考虑芯片的体系结构时，它实际上已经成为一个主要的设计要求，不仅要考虑处理器核心必须做什么，必须如何向它提供数据，以及如何来回移动这些数据，而且还要考虑保密性的综合观点。”

但即使尽了最大努力，汽车安全也总会受到威胁。

Tortuga Logic的高级硬件安全工程师Alric Althoff说：“有时我们说我们并不打算模拟这些可能发生的事情，因为我们认为人们不具备这样做。我从那些建立和训练模型来进行车辆检测、自由空间检测、边界检测的方法看到的是，并不是在谈论明显的事情，比如失去一个传感器，或者失去一个模态，以及模型是如何响应的。如果你给了模型控制权，而你不明白模型是如何看待世界的，这些事情真的很重要。”

这在传感器融合中变得尤为复杂。Althoff说：“在传感器融合中，随着我们使用更多的模式，保真度也在提高，因此也有了传感器独立性的想法。我们怎样才能使突然熔断的传感器完全独立？如果突然之间他们的相互依赖性被锁定，而你失去了一个，它突然开始在车内表现得非常不稳定，这是不好的。我们真的必须能够兼顾融合和独立，并决定临界边界在哪里，因为在雨雾中，视觉传感器将失去敏锐性，激光雷达可能不会。激光雷达知道现在它是唯一的视觉传感器吗？系统知道吗？它又如何回应呢？它向激光雷达发出信号，告诉它进入超高保真模式或类似的模式吗？”

这是物质层面的。在车内，数字硬件需要保护和防篡改。他指出：“车辆的CAN总线，只需刷新固件就可以了，所以还有一个问题，如果有人换掉一个传感器会怎么样。传感器是否通过系统进行自我验证？系统对传感器的要求是什么？你现在的完整性是什么？相机镜头坏了吗？它也许能很好地工作，但在那个关键时刻，你会失去一些真正重要的东西。因此，在物理世界和数字世界之间存在某种相互作用，我们必须克服在不同的筒仓中工作的问题。我们都需要到同一个房间里，互相交谈。”

模块化设计对问题没有帮助。他说：“在电子设计中，我们经典地设计了模块化，并将关注点分离开，这样‘除了通过这个狭窄的接口，这一块不会影响到另一块。’但我们正在进入一个整体验证和事物之间的相互关系。我们真的需要超越我们只考虑模块化的思维方式，有一种双重的观点，我们可以在经典方法和新技术之间来回穿梭，甚至可以借助人工智能来帮助我们找到我们看不到的东西，这包括安全性。在神经网络的训练过程中，需要一个具有对抗性的鲁棒模型。我们需要预料到会有人取代它，我们需要预料到人们会试图改写这些内容。”