了解自动驾驶汽车大脑的“驾驶策略”

当我开车时，从他（或她）的驾驶方式中，就可以感觉到那个司机是否是一个“混蛋”。我只知道这个混蛋会让我失望，他通常就是那样。

人类司机会对其他道路使用者、道路状况（恶劣天气）或即将来临的交通拥堵做出很多假设。他们会相应地调整驾驶策略，这种直觉对道路安全至关重要。

但如果这是一辆robocar，该怎么办？我们怎么展示一台机器如何推断其他司机的假设，并会根据其直觉做出适当响应呢？甚至说“直觉”是可以教吗？

在上周有关Mobileye发布的视频片段的分析中，这些问题一直令人困扰。那段未经剪辑的视频片段显示了该公司的自动驾驶汽车（AV）在耶路撒冷的繁忙交通中巧妙地穿行。

一遍又一遍地观看帧，想了解一台机器所看到的（或看不到的），它如何解释其场景，以及计划采取行动。但是作为非AV开发人员，这些很难理解。机器似乎会说自己的语言，并从其自身的网络思维方式中进行选择，这是我们无法理解的。

欢迎来到自动驾驶时代。

在观看Mobileye的视频时，有几个场景比较突兀，AV的动作让人感到不舒服。Mobileye和AV专家解释了幕后发生了什么。

一些答案令人惊讶并发人深省。但大多数情况下，他们暴露于媒体倾向于忽略或最小化的东西：“感知”和“驾驶策略”相遇的点。Robocar确实必须带有敏锐的洞察力和更好的机器学习能力（媒体报道中最热门的话题）。但我们开始了解到，驾驶策略对于AV的瞬间决策至关重要。

完美的视觉

我们都希望AV拥有20/20的视觉。除了清楚地看到前方的道路之外，我们还希望他们能够检测到每个物体、准确地标记它们，并使用最佳的神经网络，然后采取行动。

但是，我们今天拥有的仅仅是一个够用的感知系统。无论是由人还是由机器驾驶，现实世界中没有一辆车是会始终非常幸运地在阳光明媚的天气下、视野永远不会被其他车辆、建筑物或树木遮挡，也不会面临人行道上会有行人逆光穿过马路的情况下驾驶的。

完美的视觉很重要，但仅凭这一点并不能使robocar成为安全的驾驶员。

在Edge Case Research的CTO、CMU教授Phil Koopman即将出版的著作“Sensors in Automotive-Making Cars See and Think Ahead”（定于10月19日发布，由拥有EE Times的Aspencore Media出版）中提出了一个例子，一个孩子在自动驾驶汽车即将驶过时冲上街去捡球。

“感知和规划的棘手部分是预测在不断变化的情况下接下来会发生什么……”

“传感器不仅需要提供有关物体运动和位置的信息，还需要提供有关运动可能发生的变化的信息。”

必须换个思路

英特尔高级首席工程师、Mobileye自动驾驶汽车标准副总裁Jack Weast最近说，感知或视觉系统“本质上是概率性的，它们会出现故障，这是众所周知的”。

鉴于没有完美的传感器（就是说“在汽车的整个使用寿命中始终保持100％的精确感知”），Weast强调说：“我们必须从不同的角度来考虑，通过提供足够的感知能力来解决这个问题。”

安全性

据Weast说，这就是“bumper bowling”出现的地方。

还记得英特尔/Mobileye自2017年以来一直在谈论的RSS想法吗？

RSS现在正在成为IEEE标准。Weast解释说，这是“一个数学模型，定义了安全范围以及车辆应采取的适当响应。它可以防止自动驾驶汽车因自身故障或其他驾驶员造成的影响而发生事故。”

简而言之，就像bumper bowling可以防止经验丰富的保龄球免受混乱一样，RSS可以防止AV陷入事故。

假设与预测

无人驾驶汽车的拥护者们忙于宣称AV是如何会挽救许多人的生命的。原则上，人类是优秀的驾驶员。他们凭直觉做出假设、运用常识，倾向于对潜在的危险情况做出适当的反应。然而，robocar却缺乏直觉。

RSS试图通过定义什么构成危险情况、什么原因造成危险，以及如何做出响应，使机器可以解释那些人为的假设和“隐式”交通规则。Weast解释说，一个数学公式为机器定义了安全距离是多少，谨慎驾驶意味着什么。

在与Mobileye首席技术官兼英特尔高级研究员Shai Shalev-Shwartz交谈之前，我们不知道的是RSS还提供了对生成执行命令的车载AI算法的检查。

就像感知一样，AI本质上也是概率性的。

在观看Mobileye的视频时，我对可视化软件上专家们称为“闪烁效果”感到有些震惊。AV似乎检测到了几辆停放的车辆，但几秒钟后，停在同一位置的那些车辆开始消失。而且车辆的数量不断变化。

当被问到这个问题时，Mobileye保证，即使对象没有出现在软件可视化屏幕上，也可以跟踪对象。Shalev-Shwartz说，这是因为“驾驶策略具有’常识’层，其中包含‘事物无法消失’等逻辑。”

“常识”层是由RSS提供的。

Shalev-Shwartz还补充说，RSS的重要组成部分是“了解你不知道的东西”。他告诉我们：

这意味着在任何时候，对于3D道路视图中的每个区域，我们都知道：(1) 已知被某个道路使用者占用，(2) 已知为空路，(3) 未知。RSS逻辑在每种情况下均能正常运行。对于2D检测到的物体，我们也使用“未知”机制，但将其放置在3D世界中存在很多不确定性。

RSS是否已集成到AV软件堆栈中？

鉴于驾驶策略已成为标准讨论的重点，各个公司将如何实施？

例如，可以将RSS植入到其他公司自己的AV软件堆栈中吗？

英特尔/Mobileye已为Weast主持的IEEE P2846贡献了自己的RSS。Weast解释说，其他公司也贡献了他们的安全模型。他说，由于这是技术中立的标准，因此不需要任何人使用“特定类型的芯片或传感器”。

他补充说，例如，“你完全有可能建立自己的安全模型，该模型仍然符合IEEE标准。”

他强调说：“目前，我们正在为行业解决这一问题。尽管可能很少提及，但许多AV开发商最大的担忧是缺乏积极的行业贡献。”我们可能会没有供我们可出售的自动驾驶汽车市场。他指出，如果无人驾驶汽车没有共同的“关于其他道路使用者的假设”，则AV将很难平衡安全性和实用性。

还有谁是IEEE P2846的成员？

如果IEEE P2846真的要成为有意义的行业标准，那么还有谁参与其中？Weast说：“我很高兴Waymo担任了副主席，Uber担任了秘书，我认为最后有25多家OEM与Tier1。”

P2864活动的参与者包括一些政府代表、研究机构以及各种不同的实体。该小组希望在年底或明年初完成初稿。

如何根据不同地理位置改变驾驶行为？

正如上次分析中所写的那样，视频中车辆在不受保护的左转弯时表现的非常激进。由于Mobileye的车辆驶入道路，阻碍了交通，迫使一辆摩托车停下来，因此这种自动驾驶技术看起来并不太安全。

不过，Shai Shalev-Shwartz坚决地回应，并指出：“在以色列以及大多数西方国家，这都是完全正常的。懒惰地等待完美的情况是没用的。”

在耶路撒冷这看起来没什么，但在大多数西方国家中将其称为正常可能有些言过其实了。相反，它说明了人们对“激进驾驶”的容忍度在城市与城市之间以及国家与国家之间是会不同的。

想象一下Mobileye的这种AV软件以后会搭载到吉利的车型上，Mobileye如何编辑软件去符合中国的驾驶习惯呢？这是否意味着AV开发人员必须为每个区域开发不同的AV堆栈？

好消息是，驾驶行为并未纳入AV软件堆栈。Weast说：“确实，将这些隐式驾驶规则包含在安全模型中，而不是在所有其他自动驾驶堆栈中，确实是很棒的。”

换句话说，Shalev-Shwartz承诺：“可以调整基于RSS的驾驶策略去匹配不同的驾驶方式（而不影响安全性）。”

传感器融合

如今，AV开发商之间的共识是：如果视觉系统很难猜测正在看的东西，或者更糟的是对下一步的工作感到困惑，那么最好的办法就是增加更多的传感器，例如雷达和激光雷达。将所有内容融合在一起，从而使AV更有信心，其感知系统更接近于现实。

Mobileye的传感器融合方法不同。视频片段中显示的Mobileye的L4车辆不使用雷达或激光雷达，仅使用了12个摄像头。

Amnon Shashua在今年CES上宣布，Mobileye在耶路撒冷驾驶的L4车辆正在利用AI的先进技术，并在多个独立的计算机视觉引擎上运行不同的神经网络算法。Shashua说，多个神经网络会产生“内部冗余”。他还讨论了“VIDAR”，这是Mobileye的解决方案，仅使用摄像头即可实现类似于激光雷达的输出。

但是，Mobileye实际上正在研发自己的雷达和激光雷达。那么，这是怎么回事？

Weast解释说：“我们有一个单独的车辆，只有雷达和激光雷达”在耶路撒冷运行。目标是将其提高到与仅有摄像头系统的车辆相同的感知水平。

他指出：“现在，你将它们结合在一起，就可以拥有并行运行的冗余却多样化的传感能力。因此，我们可以生成两个世界模型并将它们组合在一起，而不是仅依赖于一个世界模型来提高准确性。”



[参考文章]
Making Sense of ‘Driving Policy’ inside Robocar Brains — Junko Yoshida