通过阴影检测，降低自动驾驶汽车转弯时引起的碰撞

为了提高自动驾驶的安全性，科研人员开发了一种系统，该系统可以感知地面阴影的微小变化，以确定拐角处是否有移动物体。将来，无人驾驶汽车可以使用该系统来避免与从建筑物拐角处或停放的汽车之间出现的另一辆汽车或行人发生潜在的碰撞。也可以在诸如医院等场景的走廊上导航，使机器人更加安全的运送药物以免撞人。这项研究由丰田研究院TRI赞助，麻省理工MIT主导。

为了提高自动驾驶的安全性，MIT的工程师开发了一种系统，该系统可以感知地面阴影的微小变化，从而确定拐角处是否有移动物体。





2019年11月4日-8日，在中国澳门举办的国际智能机器人与系统国际会议（International Conference on Intelligent Robots and Systems, IROS）上，研究人员发表的一篇论文中“Infrastructure-free NLoSObstacle Detection for Autonomous Cars”，详细描述了在车库周围的驾驶自动驾驶汽车和在走廊上导航的自动轮椅的成功实验。当实验智能体感应到并做出相应的“停车”动作的情况下，该系统的实验效果击败了传统的LiDAR。LiDAR只能检测可见物体，且检测及相应时间比该系统长半秒。研究人员评价，虽然这时间看似很短暂，但是在在快速移动的自动驾驶汽车上却十分关键。

基本原理简介

这系统用于发现角落附近即将出现的容易碰撞的物体，是在早前开发的一种名为“影子摄像头”(ShadowCam)的基础上改进实现的。该系统可以捕获从外面进来的光线的反射光，然后将其进行处理，计算出物体的3D模型。该系统没有使用激光扫描仪或x射线技术，而是使用视频摄像机聚焦于一个非常特定的区域，即两条垂直的道路或路径相交的地方。为了实现这一目的，该系统需要一个特殊的摄像头，包括激光和其他硬件。所以，该系统也不可避免地增加自动驾驶汽车的成本。据介绍，该系统使摄像头捕捉一系列的视频帧，在记录车辆行驶状态的同时，可以在不同照明条件下，帧到帧地智能地处理和分析阴影的存在和变化，它还可以使用这些信息来预测一个隐藏在角落里的物体的位置和速度。该系统给自动驾驶汽车足够的时间来减速或在必要时候采取完全停止的决策。截止目前，研究人员只在车前灯关闭的停车场和自动驾驶电动轮椅的走廊里测试过它。虽然在试验中，该系统的性能好于基于LiDAR的系统，但是该系统仍有很多不足，尚且不能使用在诸如高速公路或者乡间小路上。若想让该系统适应更多的环境，还需要相当数量的训练以识别并判断现实世界中不断变化的照明条件，以及复杂光照条件下阴影在路面投射的不同形态。

“对于周围有其他移动物体或人的环境中移动的应用程序，我们的方法可以向智能体发出预警，提醒有人即将来临，因此车辆可以减速，调整路径并提前做好准备，以避免发生碰撞。”研究人员称，“最大的梦想就是为在街上快速行驶的车辆提供这种服务。”

ShadowCam扩展阅读

这项工作是建立在他们称为“ShadowCam”的系统上，该系统使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院的教授威廉·弗里曼（William Freeman）和安东尼奥·托拉尔巴（Antonio Torralba）合作开发了该系统的早期版本，该版本在2017年和2018年的会议上发布并进行了介绍。

对于输入，ShadowCam使用来自摄像机的视频帧序列，这些摄像头针对特定区域，例如拐角处的地板。它可以检测不同图像之间光强度随时间的变化，这些变化表明某些物体在移开或靠近。这些很难检测或用肉眼看不见的变化，可以由对象和环境的各种属性确定。ShadowCam计算该信息，并将每个图像分类为包含静止的对象或动态的运动对象。如果系统判定该对象为动态的运动对象，便会做出相应的反应。

ShadowCam适应自动驾驶汽车需要进一步优化。例如，早期版本依赖于用称为“AprilTags”的增强现实标签来衬砌区域，该标签类似于简化的QR码。智能体扫描AprilTags来检测和计算相对于标签的精确3D位置和方向。ShadowCam将标签用作环境的特征，以在可能包含阴影的特定像素补丁上归零。但是，使用AprilTags修改现实环境是不切实际的。



研究人员开发了一种结合了图像配准和新的视觉测距技术的新方法。图像配准通常在计算机视觉中使用，本质上会覆盖多个图像，以揭示图像中的变化。

研究人员专门采用“直接稀疏测距法”（DSO），它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，然后计算机视觉管道仅选择位于感兴趣区域（感兴趣的区域是事先手动注释的，例如拐角处的地板）的特征。

由于ShadowCam会获取感兴趣区域的输入图像序列，因此它使用DSO图像配准方法来覆盖智能体同一视点上的所有图像。即使智能体在移动，它也可以将阴影精确定位在相同的像素点上，以帮助检测图像之间的细微偏差。

接下来是信号放大。包含阴影的像素的颜色增强，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被检测到。如果增强后的信号达到某个阈值（部分基于其与附近其他阴影的偏离程度），ShadowCam会将图像分类为“动态”。根据该信号的强度，系统可能会告诉机器人减速或停止。

无标签测试。在一项测试中，研究人员使用AprilTags和新的基于DSO的方法评估了系统在对移动或静止物体进行分类方面的性能。当人类将拐角变成轮椅的路径时，自动轮椅转向各个走廊的拐角。两种方法均达到了70％的相同分类精度，这表明不再需要AprilTags。

在一项单独的测试中，研究人员在停车场的自动驾驶汽车中安装了ShadowCam，该汽车的前大灯被关闭，模仿了夜间驾驶条件。他们将汽车检测时间与LiDAR进行了比较。在一个示例场景中，ShadowCam检测到汽车绕柱转弯的速度比LiDAR快0.72秒。此外，由于研究人员已针对ShadowCam专门针对车库的照明条件进行了调整，因此该系统的分类精度约为86％。

接下来，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。将来，可能还会有一些方法可以加快系统的阴影检测速度，并自动为阴影感应标注目标区域。