从加州自动驾驶测试报告看自动驾驶汽车的安全衡量方法

加州机动车辆管理局（CDMV）已连续4年（2015－2018年）公布在其境内开展公共道路测试的自动驾驶厂商的自动模式解除（disengagement）报告，相比于往年1月底2月初的公布时间，今年报告直到2月13日才正式公布，时间较晚，这可能与今年的报告要求各厂商采用新的报告模板（参见下图）、以及需提交报告的厂商数量较多（根据CDMV的规定，在取得测试牌照一年后，必须提交年度测试报告，2018年度有48家厂商需要提交报告，仅有31家开展了实际测试，其中APTIV仅有2项简单数据）有一定关系，今年报告模板新增一项特别标注星号的项目——Description of fact causing disengagement（用具体事例描述自动模式解除的原因）。

实际上，针对各自动驾驶厂商2017年提交的报告，CDMV在2018年2月18日就要求其中的8家厂商提交了补充性报告，包括Waymo、Baidu、Cruise、Delphi、Drive ai、Nissan、Telenav、Zoox。主要原因是CDMV认为各厂商的报告中对自动模式解除原因解释所采用的技术术语模糊不清，因此要求结合具体事例进行说明。

Waymo是在加州最早开展测试的自动驾驶厂商，其提供的报告也是所有厂商中最详细的。而且其他大部分厂商基本都沿用了Waymo的技术语言体系，如感知偏差、硬件偏差、软件偏差、不必要的行为、计划偏差等。在31家提交实际测试报告的厂商中，仅有10%的厂商能够达到CDMV“Description of fact causing disengagement（用具体事例描述自动模式解除的原因）”的要求，但也并不十分详细。10%仍沿用Waymo此前的技术语言体系。还有部分厂商对原因的描述简单，如奔驰、Nullmax所描述的原因全部是“测试计划的组成部分”。Apple甚至没有采用DMV所要求的模板。不知道CDMV后续是否会和去年一样、要求这些厂商提交补充性报告进行进一步说明。

自动驾驶汽车仅靠训练不足以达到完美

在去年3月Uber自动驾驶汽车发生致亡事故之前，自动驾驶技术始终在描绘着一幅近乎于完美的成功画卷。在一个炙手可热的全新领域，工程师们让软件发挥出足以撼动整个世界的力量，在挽救无数生命的同时创造巨大的财富。但在这场事故过后，铺天盖地的质疑声随之而来。自动驾驶汽车是怎样运行的、其安全性到底是什么水平、谁能保证那些开发厂商没有说谎？

当然，这项技术的原理并不容易解释清楚，想要真正实现更是难上加难。正因如此，拥有相关技术经验的人才都能拿到令人称羡的高薪，而这也是美国联邦政府至今仍未出台明确的自动驾驶汽车监管法规的原因。去年10月，美国交通部在《AV3.0》中再次重申了其对于自动驾驶的立场：不会选择孰优孰劣，但希望相关企业能提交详尽的安全策略报告。但截至目前，仅有9家厂商响应了联邦政府的号召。

在这样一个充满未知的领域里，“自动驾驶行驶里程”作为一项简单易懂的测评指标被引入到公众面前。过去几年间，Waymo一直在着力宣传其车辆行驶里程的庞大数字，该公司在公共道路的行驶里程已超过1000万英里，并且还进行了超过70亿英里的模拟测试。《纽约时报》此前披露的Uber内部文件显示，这家网约车公司也一直在通过行驶里程来衡量自身的自动驾驶技术研发进展。这么做的不只是企业，很多媒体也都用里程数作为自动驾驶汽车技术的衡量标准。

如果通过练习可以达到完美，那么是不是自动驾驶汽车的行驶里程越多，就越接近于完美？当然不是。

“脱离了具体的行驶环境条件，行驶里程本身不足以成为一项有效的衡量指标，”Uber先进技术项目组 (Advanced Technologies Group) 系统安全主管 Noah Zych 表示，“我们还需要知道——车辆遇到了哪些情况，车辆能够应对哪些情况，在这些区域的测试目标是什么，是要收集数据、是要证明车辆系统能在这些场景下完成行驶任务、还是只为了‘刷数据’？”

以驾照考试为例，并不是说驾驶者能驾驶一定里程并且不发生事故就可以拿到驾照，考官会针对不同场景对驾驶者进行考察。如果汽车厂商想要兑现他们的承诺，自动驾驶汽车就要能在类似于驾校考试的不同场景中拿出远超人类的表现。

Waymo也表示同意这一观点。该公司的自动驾驶里程数一骑绝尘，“重点并不在于里程数的增加，而是要改善驾驶质量，设置不同的挑战，使行驶里程具备真正的价值，”该公司发言人如此表示，Waymo同时也非常重视模拟行驶里程。

自动模式解除次数作为自动驾驶安全性衡量指标更不靠谱

在媒体报道和相关政策的制定中，“自动模式解除”也被作为衡量自动驾驶汽车安全性的一项重要指标。研发者们纷纷表示，如果要用来衡量安全性的话，自动模式解除次数甚至还不如行驶里程靠谱。

“如果自动驾驶汽车还在学习阶段，就一定会有关闭自动驾驶系统的情况发生，”曾担任前谷歌自动驾驶汽车项目主管多年的Aurora自动驾驶团队CEO Chris Urmson表示，“解除自动模式的频率其实与自动驾驶汽车学到了多少东西成正比，在开发期间，它们与所取得的进步是正相关的，”Urmson和其他一些业内人士认为，加州DMV对于提交报告的规定实际上会扼杀车辆系统尝试通过解决难题而获得提升的意愿。因为面对过分解读这些数字的公众和监管部门，如果自动驾驶厂商在不怎么需要解除自动模式的的条件下进行测试，就能显得更出众。道理很简单。



今年多个媒体将上述图表作为各自动驾驶厂商的技术排名进行了过度解读，尤其是作为明星科技公司的Apple排名在最后，而特别成为吸引眼球的话题。各厂商提交给CDMV的报告，“自动模式解除原因”是最能体现各厂商技术实力的部分，作为公众可以接触的有限的自动驾驶公开数据，CDMA希望通过Disengagement报告和自动驾驶事故报告，让公众了解自动驾驶的技术进展和存在问题，但如本文开头所述，各厂商在进行原因描述时均“犹抱琵琶半遮面”，有厂商以一个原因“软件偏差”解释了测试过程中所有的自动模式解除。当然，主要问题在于各厂商对于共享信息的疑虑。自动驾驶领域正在进行一场竞赛，各厂商不会轻易亮出自己的底牌，对彼此和公众很难较大程度的提升透明度。

建立自动驾驶安全性衡量框架

CDMV公布的自动驾驶测试报告表明，如果人类驾驶员无法接管车辆，现阶段的自动驾驶技术尚不足以确保安全行驶。有鉴于此，美国消费者监察组织指出，第一批获准在不受人类监督的情况下上路行驶的车辆必须具备全新形式的保护措施。这需要精心制定法规、规定性能指标，并且需要建立认证体系，确保在人类驾驶员无法接管所谓的“自动驾驶”汽车的情况下，这项技术不会危及公众的安全。

兰德公司（RAND Corporation）日前发布了一份自动驾驶安全衡量框架的报告，呈现了在不同环境（模拟、封闭场地、公共道路，有、无安全驾驶员）中针对不同阶段（开发、验证和部署）可以采用的安全衡量方法，同时提出以下主要建议：

· 在自动驾驶汽车积累的公共道路行驶里程尚不具备统计学意义的阶段，应将发生的安全事件作为案例进行研究。通过案例研究获取的信息可供汽车产业、政策制定者和公众广泛学习了解。

· 考虑到汽车产业和政府机构可能需要进行更深入的学习和了解，建议拟定一份有关信息共享的协议。协议必须要对衡量指标、格式、具体情境、频率、监管、数据安全等因素做出准确说明。

· 针对设计运行区域 (operational design domains) 建立统一的分类体系可以促进相互之间的理解和沟通。若能据此明确何时、何地、在何种环境下可以运行自动驾驶汽车，并且注明最低风险条件，就能够在不同企业之间、以及企业与消费者和监管机构之间实现良好的沟通。这也将有助于对自动驾驶汽车从开发到部署的整个过程进行跟踪。

· 鉴于自动驾驶系统会通过频繁更新来不断完善，需要针对如何衡量和宣传自动驾驶汽车系统的安全性展开研究。自动驾驶汽车的安全衡量指标必须要既能反映现有的系统安全级别，也能体现近来的（可能也包括更早之前的）安全记录，在二者之间达到一种平衡。

由于自动驾驶的数据基本都掌握在少数企业手中，导致能够面向公众公开或者在企业和政府间共享的数据量非常有限。自动驾驶厂商能否与公众进行更充分的沟通对于自动驾驶汽车的公众接受度具有重要影响。公众需要增进对自动驾驶汽车的性能特点、测试方式、行为特征等方面的了解，这需要各自动驾驶厂商在介绍开发进展和车辆性能时能够坦诚相见，而不是用精心剪辑的视频或是花哨的公关文件尽可能地美化自身技术。

加州是自动驾驶厂商的聚集地，截至2019年1月28日，已有62家自动驾驶厂商获得加州公共道路测试牌照。CDMV要求各厂商提供年度自动模式解除报告和事故10日之内报告，本意是为公众提供了解自动驾驶的信息渠道，而且不断要求各厂商提高技术透明度。反观国内，已有10余座城市开放自动驾驶公共道路测试权限，近20家汽车厂商和互联网公司取得了测试牌照，但除了各企业的公关营销文件，尚未有向公众公开的自动驾驶测试信息。