进击的Waymo 掘进无人驾驶深水区

此刻，一辆无人驾驶的小型货车正行驶在亚利桑那州凤凰城的郊外。你可能会担忧它是否安全，但为这辆车打造了自动驾驶大脑的 Waymo 希望能向你保证，这辆车是很安全的。

Alphabet 旗下的无人驾驶汽车部门 Waymo 是目前世界上唯一一家有全无人驾驶汽车（车内无人）上路权限的公司。实现这一切的技术是由一系列由机器学习驱动的复杂神经网络，但直至现在，外界对 Waymo 的技术仍知之甚少。

这是 Waymo 首次向外界披露其众多技术中最重要（或最难理解）的技术。以多种标准衡量，Waymo 在这场无人驾驶汽车竞赛中都遥遥领先。Waymo 骄傲地宣传着它所拥有的当前最先进的无人驾驶系统（大脑）。

它当下的成功离不开以下几个因素：其姊妹公司 Google 在 AI 投资上抢得先机；Google 完成的几项战略性收购；Waymo 与 Google 内部 AI 研究员团队的紧密合作关系。

AI前沿技术

任何人都可以买一大堆摄像机和 LIDAR 传感器安装在车上，然后将其称为自动驾驶汽车。但人工智能前沿技术的目标是训练自动驾驶系统像人类驾驶员那样开车，或者比人类驾驶的更好（这更为重要）。Waymo 的工程师不仅对汽车如何识别道路上的物体进行了建模，还对人类行为如何影响汽车的应有反应进行建模。借助 600 万英里的公路行驶数据和 500 万英里的模拟行驶数据，他们让系统利用深度学习来学习理解、预测和做出反应。

Waymo 最新加入的员工 Anca Dragan 在这个项目中负责着重要的工作。她在今年一月刚加入 Waymo，在这之前她是加州大学伯克利分校 InterACT 实验室主任，专注于研究人类与机器人的交互。Dragan 在 Waymo 的职责是确保人类（行为、乘客、其他汽车的驾驶员）与 Waymo 无人驾驶汽车的交互是完全积极的。换句话说， Dragan 的职责是防止机器人革命的发生。

一方面我们不希望机器人称霸地球，另一方面我们也不想要畏手畏脚的机器人驾驶员，Dragan 必须在其中找到一种平衡。比如，如果你以 65 英里/每小时的速度在一条拥挤的高速公路上快速行驶，你想要挤到左边的车道上去，这时你可能会慢慢地将车向左边靠过去，直到其他驾驶者最终给你让出空间。

无人驾驶汽车可能会很难完成这个任务，因为它经过训练后会遵守道路交通规则。推特上最近有一段视频显示，Waymo 的一辆无人驾驶休旅车试图挤进一条拥挤的高速车道，但失败了。

Dragan 称：“如何让无人驾驶汽车适应同道路上的其他司机？如何调整无人驾驶汽车才能使乘坐者更加舒适或者使行驶更加自然？这些都是细微的改进，如果想要实现这些改进，就必须打造一个好用的自动驾驶系统”。



对无人驾驶汽车来说，要避免交通意外发生是它的使命，但最近这几个月噩耗连连。三月，一位 49 岁的女性在亚利桑那州 Tempe 市过马路时被 Uber 的一辆无人驾驶汽车撞死。几周之后，一辆特斯拉 Model X 的车主在使用 Autopilot 半自动驾驶辅助系统时遭遇车祸当场身亡。上周，Waymo 的一辆自动驾驶休旅车被一辆本田轿车从侧面撞上，当时本田轿车突然转向驶入西行车道。

噩耗连连

与此同时，公众对无人驾驶汽车越来越怀疑。监管者开始重新思考是否应该允许公司制造和测试全无人驾驶汽车。在外界的这些质疑声中，Waymo 邀请我拜访 Waymo 在加州山景城的总部，对该公司人工智能部门的高层进行深度访谈。

Waymo 总部在 X 实验室内，后者是 Google 的高风险研究和开发实验室，离Googleplex 主园区只有几英里（2015 年，Google 改组为大型联合企业 Alphabet，X 实验室从 Google 当中分离了出去）。一年后，Google 的无人驾驶汽车项目“成功毕业”，成为了现在的独立公司 Waymo。无人驾驶汽车团队的工作地点仍然在母公司，但工作大楼与无人机送货项目、互联网热气球项目共享。

这座大楼之前是一个购物中心，典型的旧金山湾区建筑。唯一能让人看出这是 Waymo 总部的是两辆在停车场自动行驶的克莱斯勒 Pacifica 休旅车，员工们会趁着这两辆车靠边停车时在车前自拍。

Waymo 在自动驾驶领域遥遥领先于其他竞争者。它的行驶里程最多——600 万英里的公路里程和 500 万英里的模拟里程，收集了海量的大数据。Waymo 与菲亚特-克莱斯勒公司和捷豹、路虎公司这两家汽车制造商是合作伙伴关系，并且还在与几家汽车制造商洽谈中。

目前，Waymo 正在德克萨斯州、加州、密歇根州、亚利桑那州和乔治亚州的道路上测试其汽车。Waymo 计划在今年晚些时候在亚利桑那州推出全无人驾驶商业出租车服务。

Google园区的明星

现在，Waymo 希望让人们都知道它在 AI 领域的优势。本周，Waymo CEO John Krafcik 在 Google 年度 I/O 开发者大会上做了演讲，他传达的讯息很明确：相比其他汽车，Waymo 汽车看的更远、感知更好、决策速度更快。

“全自动驾驶汽车真的是一个难题，因为它的能力要求和准确度要求非常高。而且乘客的体验非常重要。”Waymo 首席技术官、工程部副总裁告诉我。

深度学习是机器学习的一种，它使用神经网络的多层结构分析抽象程度不同的数据，是改进无人驾驶汽车感知能力和行为的最佳工具。Dolgov 称：“我们很早就开始研究深度学习，AI 革命就发生在这里，发生在我们隔壁。”

Google 大脑团队的 AI 专家定期会与 Dolgov 和他的工程师同事展开合作，共同探讨改进 Waymo 无人驾驶汽车准确度的方法。最近，他们在一起探讨一些热门 AI 研究课题，例如自动化机器学习——使用神经网络训练其他神经网络。Waymo 虽然是一家独立的公司，但是如果想要给人留下一种无人能敌的印象，资历更深、实力更强的 Google 能为其提供很好的支持。

Waymo 为什么会突然对宣传其 AI 实力感兴趣？

这与它试图部署不需要人类驾驶员干预的无人驾驶汽车不无关系，此举风险非常高。目前，Waymo 是唯一一家勇于承担此风险的公司。业内其他公司正在奋起直追，试图通过收购小型初创企业快速启动自己的无人驾驶汽车项目。与此同时，Google 无人驾驶汽车团队的一些重要成员受到巨大机会和财富的吸引，纷纷离开 Google 自立门户。Google 正积极采取措施防止人才进一步流失。

Google 无人驾驶汽车团队前成员和外界专家表示，Waymo 在无人驾驶领域的确抢得先机，但竞争者们最后很可能会追赶上它。因为 Waymo 并没有完全称霸无人驾驶汽车领域。

“尽管 Google 很强大，但是无人驾驶汽车领域需要更强的能力。”Google 无人驾驶汽车团队前首席工程师 Dave Ferguson说，他在离开 Goolge 后成立了自己的公司 Nuro。



利用深度卷积神经网络对ImageNet图像进行分类

如今大火的无人驾驶领域在 21 世纪初期的时候是一番萎靡不振的景象。

程序员构建可以筛选大量的数据寻找共同模式的模型，这种模型就是神经网络——机器学习的一种。当时神经网络还没火，正在完成从浅层网络（2 层或 3 层）到深度神经网络（十几层到几十层）的巨大转变。虽然神经网络这个概念是在 20 世纪 50 年代（AI 研究诞生的年代）提出的，但当时大多数电脑的性能还不足以处理所有的必要数据。

2009 年的 ImageNet 竞赛彻底改变了这一切。

ImageNet 源于普林斯顿大学的几名研究员在 2009 年于佛罗里达州召开的计算机视觉和模式识别大会上展示的一张海报（海报是在此类机器学习会议上分享信息的典型方式）。在此之后，ImageNet 成为一个图像数据集，然后就出现了 ImageNet 竞赛——看参赛者创造的算法能以最低的错误率识别出最多图像。这个数据集有大约 1 万张图像，这些图像被分为 1000 个类别，包括植物、建筑以及 90 种犬种。2011 年左右，算法的失误率约为 25%，这意味着算法每识别四张图像就有一张图像识别错误。

人们找到了一种意想不到的解决方案：视频游戏设备常用到的高性能图形处理器（GPU）。Google 前语音研究员、现 AI 部门技术负责人 Vincent Vanhoucke 称：“人们开始意识到这些 GPU 可以用于完成机器学习任务，它们特别适合用来运行神经网络。”

最大的突破发生在 2012 年，AI 研究员 Geoffrey Hinton 和他的两名研究生 Ilya Sutskever 和 Alex Krizhevsky 发现了一种新的解决方案：深度卷积神经网络，他们在ImageNet 挑战赛上证明这种网络可以识别日常物品的图像。他们创造的神经网络网让其他参赛者望尘莫及——其图像识别错误率只有 16%，而其他方法的图像识别错误率高达 25%。

“自此我们再没回头过”

“我认为这是基于深度神经网络的方法第一次打败常规方法。自此我们再也没回头过。”前 Google 工程师 Ferguson 称。

Krizhevsky 在 2012 年 ImageNet 挑战赛上担任了较为重要的角色。他告诉我，“我认为我们当初是天时地利”。他将他们的成功归因于他的爱好——对 GPU 进行编程使其可以运行团队的神经网络代码，这使得他们可以在几天的时间内完成原本需要几月才能完成的实验。Krizhevsky 称，他在 ImageNet 竞赛中使用了这项技术。

Vanhoucke 称，Hinton 及其团队的成功“触发了一场雪球效应，并且催生了很多创新”，而且还直接促成了 Google 以未知数额收购了 Hinton 的公司 DNNresearch（包括Sutskever 和 Krizhevsky）。Hinton 留在了多伦多，Sutskever 和 Krizhevsky 去了Google 的山景城总部。Krizhevsky 加入了 Vanhoucke 的 Google Brain 团队。Vanhoucke 称，“这时候我们开始思考如何将这些技术应用到 Waymo 的项目中”。

Google 研究员 Anelia Angelova 是第一位找到 Krizhevsky 与其商讨如何将他们的研究成果应用到 Google 无人车项目上的人。他们两个人没有在无人车团队工作过，但是当时机会太好，错过就太可惜了。他们创造了一个可以让计算机学习行人模样的算法，学习方法是分析数千张街景图像并检测表示行人的视觉模式。这种方法非常有效，Google 开始将这种方法应用到无人车项目的其他环节中，包括预测和计划。

不过问题很快就出现了。新的系统错误率太高，往往会错误标注汽车、交通信号和行人，而且速度太慢，无法实时运行。于是，Vanhoucke 和他的团队仔细检查了这些图像，他们发现大部分错误是由人类标注员造成的。Google 希望这些人类标注员可以提供一个衡量算法成功率的基准（或 ground truth），但是他们反而提升了错误率。无人驾驶汽车的问题还是归咎于人类。

无人驾驶汽车的问题归咎于人类

在纠正人为错误后，Google 还是很难修正系统，使其能迅速地识别图像。AI 研究员和Google 的无人车团队展开了紧密合作，他们决定引入更加传统的机器学习方法，例如决策树和级联分类器(CascadeClassifier)。Vanhoucke 回忆道，用神经网络实现“虚拟和现实世界中的最好结果”。

“我们成功地证明了用这些方法可以识别猫的照片和网上一些有趣的东西，我们当时非常激动。现在我们正在用这些方法改善无人车的安全性。”他说。

几年后，Krizhevsky 离开了 Google，声称他对工作失去了兴趣。他承认，“我当时抑郁了一段时间”。Krizhevsky 的离职让他在 Google 的同事感到困惑，在那之后他的身上蒙上了一种神秘色彩。现在，Krizhevsky 好奇Google 早期的成功能否让它在自动化领域中保持无法超越的优势。其他汽车制造商和科技公司已经意识到机器学习的重要性，Waymo 的数据可能太过局限，无法在全球范围的场景中应用。

Krizhevsky 称，“我认为特斯拉在这方面有优势，因为搭载自动驾驶硬件的特斯拉汽车的车主遍布全球，特斯拉可以从各种各样的环境中收集数据。这点在机器学习算法泛化（generalize）时非常重要。因此我认为不考虑算法从数据的角度分析，特斯拉可能会领先“。”

AI 和机器学习对无人驾驶汽车非常重要。Waymo 的一些竞争者（包括 Google 无人车团队前成员）想知道 Waymo 的优势会持续多久。

特斯拉 Autopilot 部门前主管、自动驾驶研发公司 Aurora Innovation 联合创始人（另一位为 Google 无人车项目前负责人Chris Urmson）Sterling Anderson 表示，AI 技术进步的自然结果就是 Waymo 等大公司“不再像以前那样举足轻重”。

换句话说，2018 年无人车领域的每个参与者从一开始就使用深度学习和神经网络了。之前的领先者光环已经退去。早期的很多数据就像是过期的水果，已经无法食用。2010 年获得的一英里驾驶数据肯定比不上 2018 年获得的一英里驾驶数据。

Anderson 称，“若干年之后数据的作用就没那么大了。开始的时候，数据可以用于学习，帮助改进架构和算法。但是到了某一阶段，几百万英里或几十亿英里的行驶数据就会变得没那么重要。”

数据的作用没那么大了

Waymo 的工程师也同意这一点。Waymo 机器学习和感知部门主管 Sacha Arnoud 表示，“就机器学习而言，有这样一个增益递减点。驾驶里程多 10 倍并不一定代表获得的数据集更好，因为重要的是样本数据的独特性。”

换句话说，Waymo 累积的每英里驾驶数据都必须对其神经网络的训练过程有意义。当汽车遇到极端情景或其他特殊情景时（例如乱闯马路的行人或平行泊车），Waymo 的模拟器会过滤这些数据，将其进行数千次迭代，用于进一步训练神经网络。

机器人也可能会被欺骗。对抗图像或者用于欺骗机器视觉软件的图像可以被用来让无人车受损或被撞毁。在停车路标上贴上贴纸，就可以让机器视觉系统认为这是一个 45 英里/每小时的限速标志。

Google 训练的一个识别日常物件的神经网络最近就被骗了，它将一个 3D 打印的乌龟看成了一把枪。Waymo 的工程师表示，他们正在其系统中构建处理这些可能情景的相关组件。这引发了很多围绕无人驾驶汽车的担忧，包括黑客行为、勒索行为和隐私泄露。



路人横穿马路在中央隔离带停下



路人横穿马路没有中央隔离带



建筑工人在检查井工作



平行泊车

猫和狗的区别

Dolgov 坐在 Google X 实验室的一间会议室里，手里拿着马克笔，面前摆着一台 MacBook Pro，让我向他描述加菲猫和小狗欧迪（均为动画角色）的不同。

在我结巴地回答之前，Dolgov 继续说道：“如果我给你一张图片，问你这是狗还是猫，你肯定很快就知道，对不？但是如果我让你描述怎么得出那个结论，这可不简单。你可能会认为这与那个东西的体型大小有关，猫和狗都有四条腿、一条尾巴和一只耳朵。但是这些特征都不明显。”

Golgov 表示，这种问题是特别适合深度学习解决的问题。给出一大堆基本规则和参数很简单，例如红灯停绿灯行，教计算机区别不同类型的交通标志。教计算机从海量的传感器数据中挑出某一位行人要比描述差异或用代码表示差异更简单。

Waymo 利用一种自动化程序和人类标注员训练其神经网络。在神经网络经过训练后，这些巨大的数据集还需要经过精简和压缩，这样才能应用在 Waymo 无人车所在的现实世界中。这个程序与压缩数字图像类似，对构建基础设施使系统扩展为全球系统很重要。

如果你观察汽车摄像机捕捉到的图像，然后将这些图像放在利用汽车激光传感器数据构建的相同场景汇总，你就会发现 Waymo 要处理的问题是如此繁杂。如果你从来没见过LIDAR 效果图，它就像是 Google 街景图会变成让人产生幻觉的黑光海报。

这些图像可以提供无人车的鸟瞰视角，以及无人车“看到”的周围画面。行人在这些图像上显示为黄色矩形，其他车辆显示为紫色正方形等等。Waymo 为动物分配有类别，例如“猫狗”、“鸟类松鼠”等（原来猫和狗的区别对无人车是完全没有意义的）。但除了这些，Waymo 还在训练其算法感知环境中不合常规的对象：下半身处在检查井里的建筑工人；穿着马道具服的人、站在角落旋转箭头标志的人。

非常规场景很重要

没有人类驾驶员的干预，无人车必须适应典型驾驶环境中出现的奇怪元素。“非常规场景真的非常重要，对于无人车而言尤其如此。”

对无人车进行编程，使其对在白天横穿马路的行人作出反应是一回事，让汽车感知横穿马路的行人并作出反应是另一回事。那行人在中央隔离带停下怎么办？Waymo 的无人车会谨慎做出反应，因为行人经常会在中央隔离带停下或等待。如果没有中央隔离带怎么办？无人车会将其识别为异常行为，完全减慢车速让行人穿过马路。Waymo 使用机器学习构建模型，让其识别正常和异常行为并分别作出不同反应。

训练神经网络需要海量的数据。这意味着 Waymo 要积累数亿条汽车标注数据。为了将这些标注数据应用到驾驶场景中，Waymo 的感知部门主管 Arnoud 预计，人为标注员每秒可以标注一辆汽车，标注 1 亿辆汽车将需要 20 年的时间。如果没日没夜地标注，每秒可以标注 10 辆汽车，这就需要四个月的时间才能完成对整个数据集的标注。

现在 Waymo 的无人车只在凤凰城郊外的封闭测试场地里进行测试，如果 Waymo 想让它的无人车达到足够的智能水平，则可以在任何环境和任何条件下行驶——Level 5 自动驾驶，有好的算法还不行，它还需要足够强大的基础设施扩展它的无人驾驶系统。Arnoud 将这称为 AI 的“产业化”。

作为 Alphabet 旗下的一个子公司，Waymo 可以使用 Google 的数据中心训练它的神经网络。具体来说，Waymo 可以使用高性能的云计算硬件系统——张量处理器（TPU），这个系统由 Google 的一些最具野心和影响巨大的技术提供支持。

以前，Google 使用的是市场上能买到的 GPU（通常是英伟达产的GPU）。但是过去几年间，Google 选择自行开发和制造硬件，对软件进行优化。Arnoud 表示，TPU 的速度要比 CPU 快好几个数量级。

未来规划

Waymo 对 AI 的未来规划不是生产出有意识的汽车。Waymo 将致力于自动化机器学习（构建机器模型的过程是自动的）这样的技术研究。“基本上，AI 机器学习就是创造替人类解决问题的其他 AI 模型的技术”。

对于在道路标志不清楚的区域行驶的无人车来说，这非常有用。如今最具挑战的驾驶环境要求无人车必须能在没有白线或明显界线的情况下做出导航决策。如果 Waymo 能够构建机器学习模型，训练神经网络在路标不清楚的道路上行驶，那么 Waymo 的无人车就可以驶出凤凰城郊外，最终行驶在公路上。