2020年09月30日 | 新型摄像头与算法结合 实现飞行器3.5 毫秒快速反应

那些打过篮球并玩过无人机的人，会想当然地回答，小事一桩。但在这台无人机面前，你错了，因为它会快速、灵活地躲避飞来的袭击。

最近，来自瑞士苏黎世大学（University of Zurich）的研究人员设计出一种新方法，可以让无人机在主动躲闪移动障碍物的情况下快速导航。该研究让无人机向着拥有更优异的性能，比如在恶劣环境下更快速地飞行，在更短时间内完成更多任务等迈出很大一步。

图 | 成功躲避球的无人机（来源：Davide Scauzza）

当下市面上的无人机已经可以承担很多工作，但是躲避障碍物并不是它们的强项——尤其是在无人机快速移动时。尽管许多飞行机器人都配备了可以检测障碍物的摄像头，但通常它们都需要 20~40 毫秒的时间来处理图像并做出反应。这个时间看似很快，但当无人机自身以较高的速度飞行时，20~40 毫秒的反应时间对于避开飞鸟或者另一架无人机，甚至是静态障碍物来说，都是不够的。尤其是当无人机在一个不可预测的环境中使用时，或者有多架无人机在同一片区域飞行时，这会是个棘手的问题。

苏黎世大学的研究人员将一种类似的 “事件摄像头” 整合在一起，并设计了新的算法，从而将无人机的反应时间缩短到了几毫秒。这个近乎一个数量级的提升，足以让无人机在空中躲开短距离内向其砸来的球或其他物品。该研究发表在了一期的《科学 · 机器人》（Science Robocs）杂志上，由苏黎世大学机器人技术和感知方向的教授 Davide Scaramuzza 领导。

新型摄像头与算法结合，3.5 毫秒快速反应

传统的摄像头，例如智能手机上的那种，都是通过定期拍摄整个场景的快照来工作，它会同时曝光图像的所有像素。但是，通过这种方式，只能在机载分析完所有像素之后才能检测到运动物体。

Davide 研究团队的 “事件摄像头” 则不同，其具有彼此独立工作的智能像素。它在未检测到外界的变化像素时会保持沉默，而一旦看到了光强度变化的像素就会立即发送信息。这样一来，机载计算机只需处理图像中的一小部分变化像素，因此大大加快了计算速度，从而缩短了反应时间。

Davide 向 Deepch 具体解释道：“事件在时空域中生成一个体。我们的算法只考虑在过去 10 毫秒内出现的事件。我们补偿摄像头看到的运动，并分析所有事件的统计数据。对于每个像素，我们计算归一化的平均时间戳，它的范围介于 -1 和 1 之间，动态对象的得分非常接近于 1。这使我们可以将事件的阈值分别以静态对象和动态对象区分开。”

图 | 自我运动补偿算法的各个阶段，以便区分出属于移动障碍的事件（来源：Davide Scaramuzza）

除此之外，“目前的无人机，其目标检测算法无法很好地和我们开发的新型摄像头配合工作。”Davide 解释说，“事件摄像头”是一项最近的创新工作，并且功能与传统摄像头不同。我们的摄像头不以恒定的时间间隔输出标准图像，而是输出与每个像素强度变化相对应的异步事件流。因此，其他研究人员必须发明自己的算法，在很短的时间内收集摄像头记录的所有事件，然后减去无人机自身运动的影响。

据 Davide 介绍，该研究使用的 “事件摄像头”，目前世界上只有 5 家生产。“因为这种直到 10 年前还只是研究原型，我们使用的是 Insightness 公司的设备。” 研究中所用的无人机平台，是 Davide 实验室定制的四轴飞行器，跟市售的商品区别不是很大，但用于感知和导航的算法都是他的团队开发的。

在研究过程中，Davide Scaramuzza 和同事首先分别了摄像头和算法。

在摄像头被单独静止放置时，他们将各种形状和大小的物体扔向它，同时了算法检测物体的效率。结果显示，根据物体大小和投掷距离的不同，检测成功率在 81％~97％ 之间上下浮动。此外，该系统的平均反应时间只需 3.5 毫秒，便可检测到飞来的物体。

随后，最为严峻的考验开始了：他们将摄像头安装在真正的无人机上，让其在室内和室外飞行，然后直接向无人机投掷物体。经过多次测试，无人机能够成功避开物体的概率超过 90%，这其中包括从 3 米远的地方以 10 米 / 秒的速度扔出的球。当测试无人机提前 “知道” 物体的大小时，只需一台 “事件摄像头” 就足够了；而当无人机需要面对大小不同的飞来物体时，则需要使用两个摄像头来为其提供立体视觉。

正在接洽商业化

那么，这项研究能否在短期内投入规模化应用呢？Davide 向 DeepTech 透露：“在原则上，该技术已经做好了商业化准备，我们正在与一些公司讨论细节之中。”

至于未来的研究方向，Davide 对 DeepTech 说：“我们的计划是在一个更灵活的四旋翼上测试这个系统。而对于更长远的目标，我们最终是想有一天能够让无人机达到如今飞行员操纵一般的驾驶自如。当前，在涉及无人机的所有搜索和救援应用中，实际上都是人为控制的。如果我们能让无人机拥有像人类飞行员一样可靠的导航能力，那么就可以将其用于超出视线范围或无法远程控制的任务中。”

图 | 比较传统摄像头与事件摄像头的输出：传统摄像头以固定的速率捕获帧；而事件摄像头仅以时空事件的螺旋形式，连续输出亮度变化的信号，红色为正向变化，蓝色为负向变化（来源：Davide Scaramuzza）

Davide Scaramuzza 所在的苏黎世大学机器人与感知小组实验室，一直专注于开发可以让自动无人机快速飞行的新技术，以便执行对时间要求更为严格的任务，例如在发生自然灾害之后对恶劣的环境进行探索等。

“对于诸如地震、海啸发生后的搜寻和救援工作来说，时间是非常关键的。因此人们需要能够在有限的电量时间内（通常为 10~20 分钟）完成尽可能多任务的快速导航无人机。” Davide 向 DeepTech 解释道。“当我们的新摄像头将无人机的导航速度提高十倍左右时，也扩展了其潜在的其他应用可能。”

“未来总有一天，无人机将会被投入到各种各样的应用中，例如货物交付、人员运输、航空摄影术等，当然还有提到的搜救。” 他说，“但是，让机器人能够更快地感知并更快地做出决策，对于其他领域来说也可以改变游戏规则。在一些领域中，比如汽车、运输、采矿机器人，以及进行远程检查工作的设备等，可靠地检测视野内的障碍也是至关重要的。

安全问题，对于每个人来说都是非常重要的事情。“我们的研究向着未来无人机或者汽车更加智能化且更加安全迈出了一小步。” 他表示，他和团队成员对这项研究所展现的躲避功能感到十分兴奋，“我们从未见过商用无人机对快速移动的障碍做出如此迅速的反应，这是所有飞行机器人在任何环境中安全导航的关键要素。”

植根学界，兼顾创业

Davide Scaramuzza 于 1980 年出生于意大利，目前是苏黎世大学信息学和神经信息学的教授，同时他也是苏黎世联邦理工学院（ETH Zurich）神经信息学教授。他从事机器人、计算机视觉和神经科学交叉领域的研究。具体来说，他研究标准和神经形态摄像头的使用，使微型无人机在搜索和救援场景中能够自主、灵活地导航。

他在苏黎世联邦理工学院获得了机器人和计算机视觉博士学位，随后在宾夕法尼亚大学（University of Pennsylvania）进行博士后的学习和工作。从 2009 年到 2012 年，他领导了欧洲 sFly 项目——该项目引入了 PX4 仪，并开创了基于视觉冲击的微型无人机自主导航。

由于他在视觉导航方面的研究贡献，他被授予 IEEE 机器人与自动化社会职业生涯早期奖，SNSF-ERC 启动资金，谷歌研究奖，库卡、和等奖项，欧洲青年研究奖，sha Mahowald 神经形态工程奖，以及一些会议论文奖等。

他与人合著了《自主移动机器人导论》(Introduction to Autonomous Mobile Robots，由 MIT Press 出版），并在顶级期刊（TRO、PAMI、IJCV、IJRR）和会议（S、ICRA、CVPR、ICCV）上发表过 100 多篇关于机器人和感知的论文。

2015 年，Davide 与他人共同创立了一家名为“苏黎世之眼”（Zurich-Eye）的公司，致力于将移动机器人的视觉惯性导航解决方案商业化，该公司后来成为了 Oculus 公司（2014 年被 Facebook 收购， 5 年多时间马克 • 扎克伯格在虚拟现实领域投入了数十亿美元）的欧洲研究。此外，他还是 uda 公司（瑞士一家计算机视觉公司，其 3D 部门在 2017 年被 Magic Leap 公司收购）的战略顾问。