仿真测试评估：模型置信度的研究新进展

引 言

随着近几年的技术发展，智能驾驶已然成为众多汽车品牌竞相研发的前沿领域，目前市面上配备智能驾驶辅助系统的量产车也越来越多。然而，我们也知道对于（高阶）智能驾驶系统、以及无人驾驶这个终极目标而言，如何更高效地展开测试也是行业一直以来的痛点之一。众所周知，现在没有一个明确的标准定义为了达到系统的安全性到底需要测试多少里程、多少场景。因此，依靠传统的公路实车测试显然很难满足测试需求，而利用仿真测试作为重要的补充手段，已经成为汽车企业必不可少的选择。

仿真的意义

为什么说公路实车测试已经不能满足测试需求，而只能引入仿真呢？至少以下几个要点：

一、安全考虑，智能驾驶车辆的测试含有很多危险工况（对于驾驶员，也对于其他道路使用者），如果没有经过测试就直接上路，危险极大。而仿真提供了一个很安全的验证方法。

二、效率考虑，据有些企业报道至少需要跑几千万公里甚至上亿公里的测试才有可能保证安全。而当下整车开发的周期相较于多年之前是在不断缩短的，因此如何提高测试效率成为了关键。正好仿真测试具备自动化（可以24小时不间断运行）、超实时（仿真世界的1s可以是真实世界的n倍速）、可并发（或者说并发的成本比实车测试大大降低）的优势，可以大大弥补实车测试的覆盖里程。

三、测试边界考虑，真实道路中有很多Corner case可能无法覆盖，或者场景的搭建难度很大，而利用仿真，就可以轻松构建此类场景，可以有效扩展测试的边界。

仿真现存的问题

当然，仿真也不是完美的，它也存在一些问题。比如，仿真与实车测试的差距有多少？差距达到多少算是可以接受？这是用户最常问的问题。要回答这个问题，我们首先得了解仿真世界运行的原理。

假设，我们希望搭建模型的置信度很高，可以很好地贴近真实情况。那么显而易见此模型肯定会很复杂，因为它需要考虑地很周全。虽然可以缩小和真实的差距，但是又会存在运算周期的问题——无法实时。无法实时这一点就大大限制了仿真测试的应用，因为在硬件在环（HIL）、车辆在环（VIL）的阶段它根本就用不了。比如FTire轮胎模型，它对轮胎-地面的整体接地面进行建模，比只考虑一个轮胎-地面接触点的Realtime tire具有更加逼近真实轮胎的工作特性，但是它没办法实时运算，在HIL,VIL测试中没办法使用而通常采用Realtime tire。所以，为了能够运行仿真，在当下的计算水平限制下，必须有所取舍。

如何利用仿真

因此，市场上有些声音会说“如果不能贴近真实，仿真就没有意义”，这句话有些极端。仿真可以覆盖绝大多数的功能测试，对于性能测试而言会有一些局限，我们完全可以采取“分而治之”的思路来对待实车测试和仿真测试。我们不是要用仿真测试去取代实车测试，而是去补充实车测试。特别是在智能驾驶测试中，如果没有经过仿真测试就直接上路，也可视为非常不负责任的做法。原因很简单，如果仿真世界都bug百出，实车测试会超常发挥的概率有多大？

回到上文那两个问题，目前只能说这两个问题都是未知的，还有待产业界、学术界地进一步探索。前阵子笔者就有幸去奥地利的TU Graz参加了关于仿真置信度的技术讨论，目睹了那边产业界和学术界是如何通过有效合作来共同推动仿真测试技术的落地应用。

案例分享

下面笔者就从TU Graz的技术分享中提取关键要点进行阐述，他们的应用具有非常高的指导性，真真切切呼应了IPG的Purpose-driven fidelity理念。

此案例是TU Graz的Arno Eichberger教授及其李赫瑄博士的成果展示，其研究课题正好跟我们今天的话题强相关《Closing the Simulation to Reality Gap in ADAS Testing》。

图 1. Arno教授分享主题

为了更好地了解其课题背后的动机，这里对作者及其单位做一个简单的介绍，Arno Eichberger教授隶属于TU Graz汽车工程学院，主要研究方向是ADAS传感器和控制器开发及测试，以及人机交互等方面（1）。特别是在建模和仿真测试领域有多年的研究和项目经验。李赫瑄博士是中国人，在TU Graz攻读博士之前，曾任职于主机厂的ADAS仿真及测试部门，拥有多年的实战经验。

图 2. Arno教授团队的研究方向

他们的研究方法主要包含三个步骤，分别是场地测试、离线仿真测试和车辆在环测试。研究目标有两个，一是进行传感器建模及验证，二是探索利用VIL测试方法减少仿真与实车测试的差距。为了对比仿真与实车测试的差距，课题组首先在场地中做了一系列测试，收集到了一系列的数据（包含传感器数据和车辆运行数据），此数据一方面可作为后续对比试验的参照，同时也可以驱动感知模型的建模和用来创建数字孪生的仿真场景。

图 3. 课题研究方法概述

A.   传感器建模及验证

场地测试结束之后，通过IPG的ScenarioRRR，对场地和环境进行数字孪生，在CarMaker中重构与真实场地测试相同的测试环境。同时，还利用真实采集数据进行感知模型的训练，他这里采用机器学习方法对传感器输出的目标列表进行残值建模，最后将此训练模型集成到CarMaker中进行仿真实验，与CarMaker的真值系统进行对比，最终评判其感知结果的置信度。

这里需要指出的是，课题组之所以利用目标列表进行训练，而不是采用原始数据，其原因是他们最终的目的是验证ADAS功能，因此课题组最关心的是此感知模型能够趋近于真实传感器输出的结果，而对传感器具体的工作原理不做具体探索。这就是一种基于目的来选择建模精度的真实案例。

图 4. 传感器建模及验证工作流

当然，他们还将CarMaker的HIFI Radar与真实采集数据和其训练模型做对比，这里课题组采用特征值（下图的longitudinal distance）对比，从下图可见，三者之间具有较好的相似性。但是，要评价仿真与实车测试的差距究竟是多少不能光从趋势判断，需要有更加理性的量化指标来评价。这里课题组尝试采用Pearson-correlation coefficients, Cross-correlation coefficients，以及Chebyshe distance方法对特征值进行量化分析。这是一个非常有意义的尝试，因为目前在整个行业内，尚没有统一的量化指标来评价仿真与实车测试的差距。因此，课题组在这里只是做了一个他们的尝试，采用上述三种指标来进行量化分析。本文不对课题组的量化分析结果做过多的描述，感兴趣的朋友可以查看课题组发表的相关论文（2）。

图 5. 模型数据与实采数据的对比

B．探索利用VIL测试方法减少仿真与实车测试的差距

我们不禁会问，为什么VIL测试方法能够减少仿真与实车测试的差距？我们都知道在汽车开发V流程的右半分支是真实部件不断递增的阶段，到了VIL阶段我们已经有真实的样车了。对于ADAS测试而言，最关键的两部分分别是感知模块和执行模块，感知模块在上一步中已经与真实采集数据进行了对比，数据具有较高的置信度。那么就剩下执行模块了，执行模块的建模（即整车的建模）因模块众多而具有比较高的难度。这么看来，的确引入真实车辆是最省事的方法，避免了整车建模的复杂性。

课题组在此使用了轴耦合测功机台架来进行VIL的搭建，国内可能更喜欢称之为静态VIL。值得注意的是，课题组还破解了待测车的ESP通讯，可以将仿真的车身姿态和轮速注入ESP，从而让ESP也能正常在台架中正常工作，这样一来就能在台架上进行一些如对开路面和低附路面的测试。这是这个台架的一个特点，我们在之前别的静态VIL中还没有见过类似的案例。因此，此台架可以覆盖更多的测试场景。

图 6. 课题组所使用的测功机台架

同时，课题组还引入了交通流仿真工具Vissim，能够给主车提供更多交通压力测试场景（具有随机、不可预知的交通场景）。交通流的引入可以更加真实地还原日常驾驶场景，而不局限于抽象场景的测试。针对测试中遇到的危险场景，还可以单独筛选并且进行泛化。

据课题组透露，针对他们挑选出来的278个典型工况，如果在封闭场地中测试至少需要数周，而利用此VIL台架，只需要2-3天就可以完成所有工况。

TU Graz课题组的研究从ADAS测试最关键的两个部分着手，又从产业应用的角度去分析仿真与实车测试的差距。看得出来，他们的研究绝不仅仅是理论研究，还具有非常强的应用实践意义。国内也已经有在部署类似的测试手段，比如国汽智联（CICV）的静态VIL，也是相类似的解决方案。课题组的另外一个贡献则是提出了三个量化指标来分析仿真与实车测试的差距，要想回答前面提出的那两个问题，目前的实践还远远不够，还有待产业界和学术界进行更加深入地探索。

因此，在当前的阶段，我们应该着眼于合理分配不同的仿真测试方法论，以期达到测试效率最大化的结果。而不是待到仿真与实车测试的差距明确后，再来考虑是否采用仿真测试。Arno教授提到作为行业测试的金标准，在环测试方法论已经得到产业的认可。同时在环测试方法论的应用也需要具体问题具体分析，IPG的CarMaker可以覆盖MiL、SiL、HiL、ViL各阶段的测试，同时IPG也具有三十多年的工程服务经验，可以针对每一个测试节点为用户提供咨询服务。在这里，也非常欢迎全行业的共同探讨。

图 7. 金标准之X-in-the-loop测试

对于仿真与实车测试的差距，影响因素很多。就目前来看，我们需要在Accuracy和Efficiency之间采取平衡。在开展在环测试之前，需要分析测试的目的是什么，然后基于目的去分析该如何建模。

图 8. 平衡仿真与实车测试差距的影响因素

参考文献

（1）https://www.tugraz.at/en/institutes/ftg/forschung/adas-automated-driving-driver-assistance-systems

（2）Bamminger,N.,Li,H.,Wan,L.,Magosi,Z.F.,Eichberger,A.(2031,May).evaluationofPerceptionSensorModelPerformanceinSimulationbasedonExperimentalFindings.(2023)ZIRP2023.SubmittedtoZIRPconferenceon21.05.2022.

https://doi.org/10.13140/RG.2.2.31850.29125