真正验证自动驾驶能力是否需要大量的实车测试？

随着自动驾驶系统在汽车世界的不断普及，针对其功能在真实世界是否具备鲁棒性的话题一直不绝于耳。其中最重要的就是涉及对测试场景的规模构建和真实还原，这需要需要进行大量的验证和确认。最大化场景覆盖率的常见验证和确认策略，是在虚拟仿真中验证，并模拟大量生成的场景样本。自动驾驶车技术研发，一直侧重于技术挑战和实施的各个方面，如感知、决策、车辆控制、人机交互的执行方式，还有一些涉及自动驾驶车安全测验问题。

当前自动驾驶的研发量产上市过程中，通常对于其功能的测试验证要求实现在于通过指定足够安全完备的场景运行覆盖范围ODD，通过传统的现场操作测试，来验证当前自动驾驶的功能覆盖度和性能指标是否达标。

而在所有安全认证中，最为关键的是包括以下三点：

• 特定场景下，确定不可避免的碰撞；

• 碰撞发生时，明确主要责任；

• 扩大场景覆盖度后可能承担的设计验证成本。

然而，在真正准入过程中，由于法规要求相对较弱，只需要检查一些关键场景就可以。从某种意义上说，为了更加真实的还原道路场景，通常会进行真实世界的道路测试或现场操作测试，这是唯一的验证方式，也是自动驾驶车验证和确认（V&V）的最后一步策略。当然由于所有都是真实搭建的场景和设备，这一过程也是昂贵的方法。同时，真实现场测试的缺点也很明显：因为仅靠在车上安装一些自动驾驶控制器、传感器再加上一些可预知的周边场景人工设置，是缺乏足够的场景覆盖能力的（比如一些极端场景或根本就是偶发场景时，也无法估量）。这也就为一些非关键的未知场景可能出现不可预知的问题埋下隐患。

通常，功能安全设计中广泛使用的安全指南标准ISO 26262可以适用于缓解与已知部件故障（即已知不安全情况）相关的已知不合理风险，但并未解决复杂环境变量导致的自动驾驶风险。同时，也没有指明当车上没有出现安全标准设计中所指向的任何硬件、软件等技术故障时，系统如何应对这些风险。后来，业内为了更好地定性应对安全挑战。提出了以ISO 21448为标准的预期功能安全策略。与功能安全结合后，其设计目标定义为将自动驾驶功能设计的已知和未知不安全场景结果进行最小化。

这里需要说明的是，对于碰撞是否可以避免不仅是学术问题，也是涉及法律法规等相关问题。因此涉及很多特定场景，甚至连真实的人都无法判定哪种策略更优，更何况是机器。因此，配备自动驾驶功能的机动车辆必须具有能够独立遵守车辆驾驶交通法规的技术设备，并具有事故预防（accident prevention）系统，应该同时满足如下几条约束：

（a） 系统运行过程中应尽量避免和减少损坏，（b） 碰撞不可避免的发生时，所有利益相关者的优先级以最大限度的减少人员伤亡；（c） 如果存在不可避免人生命的选择风险，则无需根据个人特性提供进一步加权。

自动驾驶测运行能力测验系统

责任确定是自动驾驶中的一个比较重要的课题，以在研系统为例，从L1-L3-L4的整个系统过渡过程，呈现出不同的责任划分状态，当L2及其以下系统时，任何碰撞责任都在于驾驶人的不及时接管（当然系统有一定的提示义务）；当L3时，最主要的工作就是限定其是否只在系统设计运行范围内部还是外部，如果一旦判定为系统内部，那么就无需在考虑人为驾驶所造成碰撞风险的可能性，所有的责任都应该转嫁给系统。即使系统无法在持续处理整个控制过程，也不能指望通过报警让驾驶员接管来避责，而是必须以自己最大能力的控制冗余停车，开启危险报警灯等方式规避碰撞。当然，这里就有一个值得深省的问题，如果系统判定ODD本身就出现了失误（此时，系统记录的数据并未反应系统已处于ODD之外，只是事后通过后台数据分析得出系统已处于ODD之外），那么责任又有谁来承担呢？至少当时无法及时给出答案。

另一方面，当L4级或在其以上的自动驾驶车配备安全验证时，其需要测试验证的场景将更加复杂多变，这时可根据基于样本的方法最大限度的扩大场景测试覆盖率，同时可以基于形式逻辑（formal logic）的方法简化责任确定，最终最大限度的将测试验证场景投射到真实驾驶中。

这里解释一下什么叫基于样本的方法和基于形式化方法（formal method）。

基于样本的方法创建场景覆盖度，顾名思义，基于样本方法实际就是参照已有样本的随机生成过程，将各分散样本进行模拟学习，在学习过程中寻找规律，生成规律函数，从规律中直接或间接的覆盖实际道路测试案例。

基于形式化方法，实际上它就是引用抽象的安全规范，尽可能的在场景空间中创造更多更大边缘场景，提升场景覆盖量的过程，整个过程将形式化规范集成到控制合成和监控过程，利用纯数学概念进行控制能力解析。力求在域控制器中利用安全规范，达到对真实环境的最大逼真度模拟。由此，对于自动驾驶的测试验证可能发生碰撞责任则会顺利转移到对于模型的在线验证上。基本可以认为，只要模型验证为正确的，控制器按照综合安全规范执行，那么系统就可以证明是安全的。

以上两种对于场景还原的方法都是期望将验证场景投射到真实驾驶中，与当前简单的基于测试的方法来保障行驶安全相比，以上两种方法由于建立了一定的数学模型或者纯粹利用了数学仿真分析的方法将现实场景转化为系统可预期达成的控制算法/程序，这样，受控的系统行为就可以满足测试规范中的所有测试条件。比如一些无法现场模拟的危险场景，接近-碰撞或已经碰撞的场景。
其实，这里的形式化方法和样本方法所在意的核心思想就是信号处理中的观测值-预测值的概念。这一概念实际也是数字信号处理中常用的方法和概念。
以当前时间点作为t时刻点，向前向后预测一定时间内系统的表现，预测过程是通过之前的函数观测值所统计的函数规律。
比如，通过对之前车辆驾驶场景有一组观测值为.....Xt-2,Xt-1, Xt, Xt+1,Xt+2......
那么下一时刻的估计值可以为：

，其中u代表控制参量，是从t-N时刻开始到t-1时刻所观测出来的参量控制值，f(u,t)是前面样本观测时间内通过一定的函数算法形成的估计函数。那么下一时刻的估计参数值就应该是当前时刻的观测值与之前时刻的观测趋势所形成的预测参数，这里就是x(t+1)。

以此类推，可以形成一个比较完备的向前观测体系：

从如上公式可以看出，基于样本的方法实际是基于采样的方法，填充大量场景样本来验证场景变化。这种纯理论的方法通过大量实验应用于实际的边缘场景样本验证是十分有效的。
如下图显示了基于样本的安全验证开发的自动驾驶系统流程图：

自动驾驶系统运行能力测验的仲裁标准

研究自动驾驶时，无法避开的话题我们可以说最核心最关键的是设计运行范围ODD这个概念。因为在当前的自动驾驶来说，无论做的多高大上，仍旧只能运行在所限定的区域范围之内，超过该范围，将无法在主动退出或意外退出。我们在本文中有必要对自动驾驶的设计运行范围进行有效分析。为什么呢？因为ODD往往是自动驾驶中经常会用于对场景有效性分析的一个设定范围。即通过对ODD所有可能场景变化进行安全验证和确认。其中，ODD中的所有场景变化包括静态元素（如道路、路标、指示牌、路边静止物体等）和动态元素（包括车辆、驾驶员、行人、变化到的天气、环境温度、湿度等）两个方面。而这两方面的变化涉及初始场景变化，以及自初始场景以来时域发展的变化。

当然这里在自动驾驶测量中需要关注两方面问题：其一，自动驾驶系统本身是否完全具备自测ODD的能力；其二，系统如何关注当前驾驶状态紧要性信息，并将该信息用于制定一定的“仲裁标准”，以确定是否需要不同的控制方案。

这里我们所提到的“仲裁标准”有类似mobileye较早提出的安全责任模型RSS，虽然在很多系统功能设计研发中，很多工程师都考虑到了这一点，但是实际强制说来这也是一种非官方承认的“伪标准”。当然对于像ISO26262这种功能安全标准所确定的安全完整性期水平关键量则是需要重点关注的。这类标准实际指明车辆是否能够判断自身环境是否处于自身可运行的设计范围内，如果处于不可避免碰撞（inevitable collision state，ICS）的状态，如何根据对应可用的仲裁标准最大化的减少碰撞后果（如通过主动制动减速或遵循非故障轨迹避障等）。当移动障碍物的预测在动态交通场景中至关重要时，则需要创建与ICS概率等价的概率框架。这种概率模型有助于在研究某些半自动驾驶或ADAS功能时，确定系统是否处于不可避免碰撞状态（ICS），确定此时的场景下，其ADAS干预是否遗漏亦或是本身并不必要。

另一种仲裁标准则是直接通过观测系统在当前运行模式下，能否达到所设定的目标状态，即系统的可达性分析。而达到所设定的目标状态本身就是一种车辆运动仲裁分析。分析的过程包括对车辆实际执行的运动轨迹、决策控制和运动模式进行分门别类。即在特定的运动模式下，通过从大型复杂动态模式库中选择模式需要的计算，并利用基于学习的方法（如强化学习、模型预测控制MPC从复杂的动态模式库中选择适当的模式）对车辆得轨迹优化、提升决策能力、提高控制执行能力，保证车辆运动所需的恒定输入，以实现完成更高等级的任务执行。

举个例子，对于诸如自动换道、紧急转向控制这类轨迹预测要求较高的功能场景里，通常需要提前采用可达性分析进行持续预测，这里的可达性是指在限定的时间、空间范围内，是否可以将车辆安全的规划移动至目标车道中。为了实现这个过程，就需要提前将多条换道预测轨迹集成到控制系统中，为当前的控制系统提供持续的指导力和倾向性分析，“指导力”是指按照当前的环境，要采用所计算的那条轨迹线才能风险最小的运行至目标车道。“倾向性”是指如果其中多条路径均可保证运行至目标车道，那么哪一条是代价最小的，则会成为最终选择的运行轨迹。当然如上每条预测的轨迹曲线都是我们做预测过程中的实际样本曲线。每条曲线都汇集了真实城市驾驶的真实情况，可综合反应其真实的交通行为周围的环境情况。

总结
基于场景采样的测验，其面临的挑战是，量化能保证合理覆盖所需的样本量，从而约束自动驾驶不当驱动造成的风险。当然，当前如火如荼的预期功能安全能力建设确实能起到一定的作用，但是实现这一SOTIF目标的挑战在于，传统方法如现场操作测试，难以涵盖测试期间自动驾驶的所有可能场景。尽管存在挑战，但在安全分析方面仍有一些很有前途的方法和方向，可以朝着ISO 21448的目标前进，除了在仿真测试能力方面做出必要到的努力外，如何在模拟测试中最大限度地扩大场景覆盖率，通过一些恶优质的场景预测和构建方法（包括基于样本的方法、基于形式化方法）来创建（可达性场景分析）以提供安全保证则是本文研究的重点话题。