2020年10月16日 | 自动驾驶软件能否检测到我们所看到的

自动驾驶软件驱动程序能感知、检测和预测在车辆周围弹出的物体吗?它能像人类驾驶员那样，掌控自发事件的重要性，设计出安全、果断的反应吗?

这是一个价值640亿美元的问题，但我们至今还没有找到答案。

大多数自动驾驶公司和科技公司，包括Waymo、Cruise、Nvidia、Mobileye和一大批初创公司，都试图通过发布自动驾驶汽车在城市行驶的视频片段，来展示其自动驾驶软件的成熟度。但问题在于，通常有些场景要么被明显地剪辑掉，要么被巧妙地加速。影片中提到了用于拍摄地点的城市，但通常没有提到拍摄时间。

在开发自动驾驶汽车的科技公司中，英特尔/Mobileye是最具代表性的。Mobileye公开了两段未经编辑的视频片段——一段是在1月份的消费电子展期间，另一段是在5月份。

视频都是在耶路撒冷繁忙的街道上拍摄的。每个Mobileye视频显示器屏幕上相同的三个独立的视频元素: 一架Mobileye自动驾驶在耶路撒冷驾驶的无人机镜头，一名安全司机的视图(显示他正在做什么)，以及可视化软件，将机器的视图呈现为周围的自动驾驶工具。

这段视频可以让我们了解到，在耶路撒冷，自动驾驶正在 (无人机镜头)看些什么，它的传感器(12个摄像头)正在捕捉什么，Mobileye的自动驾驶软件是如何解读世界的，以及机器是如何理解可视化软件呈现的视图的，可视化软件指导着自动驾驶的行动。我们还密切关注安全驾驶员，了解他看到了什么，以及与可视化软件的外观相比是否出现了人为差异。

这个练习非常耗时。但当Mobileye宣布，中国吉利汽车集团将从明年开始将Mobileye的自动驾驶“全堆栈”、360度摄像头ADAS解决方案用于动力级别L2+的电动汽车时，这意味着到这个实验将具有重大意义。

Mobileye与吉利的协议表明，Mobileye正在将最初为L4测试自动驾驶开发的软件在耶路撒冷“经过试验和验证”——进口给中国的L2/L2+消费者汽车。这是自动驾驶汽车的自动驾驶软件和硬件第一次直接针对消费者的ADAS汽车，实现“hands-free ADAS”的案例。Mobileye承诺在不到一年的时间内实现这一里程碑。

这是否代表了Mobileye的自动驾驶软件驱动的成熟。在开始耶路撒冷测试之前，该公司已经为严格的设计和工程制定了预先的细节，这在自动驾驶开发中是非常必要的。

英特尔高级首席工程师和Mobileye自动驾驶汽车标准副总裁Jack Weast最近强调:“你不能把一堆东西编码出来扔在路上，然后看看会发生什么”——许多自动驾驶初创公司都遵循这样的做法，希望能吸引风投资金。在Mobileye的情况下，“你要深入思考系统的设计。你要试着理解纸上的设计是什么样，并对设计进行正式验证。”

英特尔一位发言人表示，Mobileye从2013年开始开发和测试高速公路试点，并一直在增加不同的功能，包括高清地图，责任敏感安全和真实冗余。 “2018年初开始了对现有配置的广泛道路测试。”

我们在标记什么

在一帧一帧地反复观看Mobileye的视频剪辑后，我们注意到一些东西所引发的一些问题:

可视化软件是否正确地评估了某一对象(卡车和公共汽车的混淆)?

软件是否在跟踪目标?一些汽车或人突然消失了，软件似乎完全遗漏了他们，但是，几秒钟后，他们又重新出现。为什么?

我们应该担心这些闪烁的物体吗?

为什么视觉传感器没有检测到特定的物体，比如1月份发布的Mobileye视频中的摩托车或婴儿车?在感知这些物体之前，传感器似乎迟疑了几秒钟。

难道自动驾驶没有撞到婴儿车只是运气吗?

Mobileye的自动驾驶软件，一些驾驶动作，比如没有保护的左转，让我们觉得有点过于激进。

需要澄清的是，与我们交谈过的自动驾驶专家中没有人对我们所说的“潜在问题”发出警告。“我们把它们视为危险信号，但专家们并认为。

一位匿名的自动驾驶专家表示:“计算机视觉是一个困难的问题。”从传感器的观点来看，“可能有什么东西挡住了视线。“传感器实际能看到的东西和我们从其他角度能看到的东西之间有很大的区别。”

VSI实验室的创始人和负责人Phil Magney告诉我们，“关于visualizer的评论，确实有些物体消失了又出现了。这并不罕见。根据Magney的说法，“当对物体的信任度瞬间下降时，你会从视觉工具中失去目标。”当存在部分遮挡或当物体的方向改变时，就会发生这种情况。在一些物体上，它们会消失，只有当物体靠近时才会显现。在这种情况下，当目标进入对车辆至关重要的感兴趣区域(ROI)时，这些条件下的置信度才会增加。”

当被问及最初没有在可视化软件屏幕上检测到的婴儿车时，Magney表示，“这可能是分类的问题。它是基于神经网络和它被训练的好坏。”

那么，问题会是自动驾驶软件驱动程序从未见过婴儿车吗?但是Magney注意到软件驱动程序并没有完全忽略bug。“实验对象暂时有足够的置信度进行分类，但几帧之后，由于物体的方向改变，它消失了，但当你走近时置信度又增强了，实验对象又重新出现了。”

软件并非完美无缺

Mobileye的首席技术官、英特尔公司的高级研究员Shai Shalev-Shwartz承认:“我们的视频显示了最近的进展，但并不是完美的。”

他强调，“我们的立场是，透明度是构建自动驾驶系统过程中的一个关键因素。”

在深入研究提到的具体场景之前，Shalev-Shwartz给出了一些一般性的评论:

可视化只显示“事实”——目前被摄像机稳定探测到的事件。驾驶政策有一个“常识”层，包括“事情不会凭空消失”这样的逻辑。“这些非视觉指南是汽车决策过程的一部分。

一些物体在二维图像中被检测到，但是在三维世界中理解它们的位置和运动状态会带来很大的不确定性。这些2D图像没有显示在可视化中，而是在RSS(责任敏感安全)上下文中使用。

RSS的一个重要组成部分是“知道你不知道的东西”。这意味着在任何时候，对于三维空间中的每个区域，我们知道以下情况之一:

(1)已知它被某个道路使用者占用

(2)已知它未被占用

(3)未知。RSS逻辑在每种情况下都能正常运行。我们对2D中检测到的物体也使用“未知”机制，但是在3D世界中定位它们有很多不确定性。

Mobileye回应物体消失之谜

视频的第一部分我们要检查的是婴儿车。13:48到15:05。

婴儿推车失踪了?

14点52分，有个人推着婴儿车。上面的图片是视频中婴儿车出现时的一个画面。计算机似乎直到很久以后才意识到这一点。这是AI没有训练过的对象的情况吗?

Shai Shalev-Shwartz:行人和婴儿车一直都在被检测。然而，可视化只显示“事实”。

下一个视频片段是从16:40到17:20。事件发生在16:47左右。这个可视化软件似乎搞不清楚从左边过来的是一辆公共汽车还是一辆卡车。然后它瞬间消失了。

Shai Shalev-Shwartz:区分卡车和公共汽车对自动驾驶的决策不是必须的，特别是当它离你有三辆车远的时候。

在17:17左右，你突然看到一个红色的盒子，这种物体之前没出现过。什么造成了这样的幽灵?

Shai Shalev-Shwartz:我们的感知神经网络被调到安全的一边(falsie vs. missy)，因为目标丢失是一个安全问题，而错误检测这个问题比较comfort(缓和)。尽管如此，驾驶的舒适性并没有受到影响(决策时要考虑到目标是“活跃”的车架数量，并相应地调整制动配置以减少颠簸)。

在21:50左右。一辆摩托车明显地朝那辆汽车驶来。这是安全驾驶员的观点。计算机似乎直到很久以后才意识到这一点。为什么?

Shai Shalev-Shwartz:做决策时要考虑到不确定性(在显示器上看不到)。

我们要强调的第一部分是在3分钟之后。为什么车子在3:05左右几乎停了下来，而左边的车道明显是空的，它可以很容易地绕过卡车?

Shai Shalev-Shwartz:我们使用不同的上下文线索来确定一个物体是否是需要超车的障碍物/静止物体(例如，等待在交通堵塞中的车辆vs.双停车辆)。这一机制正在迅速完善。然而，这不是一个与安全相关的问题。

一群汽车停在街道的右边。他们中的任何一个都可以退出。然而，可视化软件只能看到一个。是什么引发了这种闪烁现象?在整个过程中，对象都是在“低级”位置被检测到的。这只是一个形象化的问题。

接下来我们要提醒大家注意的是左转向。视频在10:45左右开始。Mobileye测试车缓缓驶进道路，因此它基本上阻断了交叉交通，为自己创造了一个开口。还有一些时候让我觉得是攻击性驾驶。这被认为是“文化差异”的行为吗?

Shai Shalev-Shwartz:这在以色列和大多数西方国家都很正常。无所事事地等待完美的情况是没有用的。请记住，我们基于RSS的驾驶政策可以很容易地调整以适应不同的驾驶风格。

下一部分我们要问的是14时33分到14时48分。在拍摄过程中，Mobileye车队正等待转弯。为什么方向盘会动得这么厉害?看起来计算机正在进行自己的路径规划。但是什么导致了方向盘的疯狂移动呢?

Shai Shalev-Shwartz:这是黑客攻击工具的副作用之一。当使用带有专用控制栈的av就绪平台时，就不会发生这种情况。

我们所涉及的下一个问题是当Mobileye车辆停下来换电池后会发生什么。顺序大约从14:45开始。在无人机拍摄的视频中，我们看到右侧停着几辆车。但在可视化软件上，停车数量一直在变化。导致这个的原因是什么?

Shai Shalev-Shwartz: 这就是之前提到的(1)已知它被某个道路使用者占用(2)已知它未被占用。

情况在“不断改善”

根据Shalev-Shwartz的说法，一言以蔽之，Mobileye的自动驾驶软件在不断改进。

大多数自动驾驶专家和Mobileye一致认为，自动驾驶软件在公交和卡车上的混淆并不重要。一位行业观察人士表示:“(一辆车的)尺寸可能颇具挑战性。但当我们谈到探测和反应时，我们真正关心的是知道你前面有一辆车。”

Mobileye的CTO解释:“这只是一个显示问题(不影响驾驶安全性)。从计算机视觉的角度来看，这是一个相当简单的任务。由于它不是安全关键因素，因此没有得到优先考虑。尽管如此，他补充说，“最近的传感版本在这方面表现出更好的性能。”

尽管如此，我们还是注意到可视化软件在确定对象大小时似乎存在问题。这是否由2D成像的限制造成的？

Shalev-Shwartz:“这在不断改进，并且已经达到了相当大的准确性水平。Mobileye使用基于RSS的驾驶策略，为有限的可见性增加了安全保障。

为什么计算机有时在跟踪一个对象时似乎有问题。在一个场景中，它看到了一辆汽车或一个人，但在另一个场景中，几秒钟后，计算机似乎完全忘记了它看到的东西。对象就消失了。这很令人担忧。

Shalev-Shwartz表示：“我们肯定会追踪物体。我们有时会因为遮挡或图像的局部可见性而无法跟踪，所以我们不能‘指望’它，也不能通过深度神经网络来确定它的存在(故障通常是由于遮挡或分类错误造成的)。”

 “此外，我们基于RSS驾驶政策使用新颖的方法和技术来处理遮挡和能见度有限区域。这就是为什么这些“错误”不会影响驾驶体验和驾驶安全的部分原因。”

虽然我们所有的操作都是手工完成的，但我们相信Mobileye有工具可以自动发现电脑在每个硬盘上可能犯下的错误。这个过程是怎样的。

 “我们有一个非常结构化的程序。每次试驾都有一名安全驾驶员和一名负责实时标记事件的副驾驶。然后，我们通过一个专门的团队执行的离线分析来运行日志。在大规模的验证中，我们使用了新奇的方法，比如与L/R系统进行比较，使用参考传感器离线地真相等。”

总结

Mobileye的此次测试给予了自动驾驶相当的大的贡献，当越来越多的设备被认为比人类更聪明时，我们就会越来越迫切地想知道这是怎么回事？