一文读懂自动驾驶仿真测试技术现状

三、仿真测试评价体系

3.1 仿真测试评价维度及具体评价内容

1）两个重要评价维度：真实性和有效性

a. 真实性评价：主要是针对场景库真实合理性的评价，分为场景信息真实度、场景分布真实度两个方面


真实度评价的两个维度

场景信息真实度：在场景在构建过程中，需要合理准确的在虚拟环境中渲染测试场景中的静态环境要素（如交通设施、道路及障碍物等）、动态环境要素（动态指示设施、通信环境信息）、交通参与者要素（机动车/非机动车、行人等）以及气象环境要素（环境温度、光照条件、天气情况）等信息。

场景分布真实度：在参数重组场景中对于由特征元素组合和人工编辑合成的场景，由于人工修改参数后可能会出现真实世界不存在的场景，因此在人工编辑场景时需参考真实世界场景的参数值范围去合理化地设置参数重组场景。

b. 有效性评价
目前尚未统一的有效性评价标准，当前可参考的标准如下：

2）具体评价内容：仿真测试自身评价以及自动驾驶车辆驾驶性能、驾驶协调性、标准匹配性、学习进化性等方面；
图片

自动驾驶仿真测试评价项目
注：评价项目内容参考《2020中国自动驾驶仿真蓝皮书》

3.2 仿真测试评价标准示例

评价方法：（两种）
基于功能的评价方法：针对特定的自动驾驶功能，在给定测试场景的前提下，判断测试的自动驾驶汽车是否可以在该场景中安全行驶
基于场景的评价方法：将测试车辆置于测试场景中，在自动驾驶汽车能够安全行驶的前提下，判断该场景的复杂程度，例如周围环境的复杂程度或驾驶任务的复杂程度等


评价指标：（两类）
通过性评价指标：针对自动驾驶做出判断以及规定场景内必须实现目标的评价；如安全性、完备性、经济性、人工干预度等评价指标，量化上采取0/1机制
性能评价指标：表征自动驾驶汽车在具体测试场景下预期功能实现的程度；如智能性、舒适性、拟人性等评价指标，量化上采取差值机制
参考：评价标准参考《自动驾驶系统功能测试第7部分：仿真测试（征求意见稿）》

结语

自动驾驶仿真测试发展面临的挑战

1）场景库建设
没有统一的数据格式标准，企业之间的场景库建设缺乏合作，资源重复性投入大；
场景库数据的标注、分析提取等环节仍然依靠大量人工，场景库建设效率低，成本高；
场景库的覆盖率依然不高，不足以覆盖常见的交通场景；
穷举覆盖全场景的测试用例与测试效率和测试精度如何平衡。

2）仿真平台
测试场景有限，在测试方法的标准化与仿真虚拟测试应用上还较为薄弱；
目前尚无一款完美的自动驾驶仿真软件，能够实现所有模块的仿真测试功能，仍然需要多个仿真软件进行联合仿真；不同自动驾驶仿真软件，往往需要开发不同的仿真接口，不仅增加了时间成本，也增加了工程师的学习成本；
仿真环境缺乏现实世界物理现实的真实性和丰富性，并且训练效果有限，可扩展性差；
系统仿真软件也存在自身固有的弱点，比如仿真模型需要对边界条件进行明确的假设，但现实中这些边界条件不一定能明确或者不能真实地获取；
传感器模型、车辆动力学模型以及道路环境模型的准确性都会影响到仿真测试结果准确性，因此提高仿真测试结果的可信度也是当前一个较大的挑战。

3）测试评价体系
不同的企业采用的仿真软件系统架构和场景库构建方法不尽相同，导致很难建立统一规范的仿真测试评价体系；
仿真软件自身的真实性和有效性方面的评价尚无统一的标准规范，且车辆的学习进化性方面还缺乏相应评价标准。

自动驾驶仿真测试技术发展趋势展望

1）基于云平台的高并发测试、加速测试是仿真测试未来重要的发展方向，是自动驾驶仿真企业的核心竞争力之一；云平台具备海量数据存储、处理和管理的能力，支持大规模仿真构建，覆盖海量驾驶场景；可有效建立城市级地理信息+虚拟交通流信息，可实现跨专业多用户信息交互与共享。

2）功能安全场景库、V2X场景库以及预期功能安全场景库将是未来场景库建设的重点；不同厂商采用统一数据格式标准，共建基础场景库，形成通用的、可移植的场景库。

3）混合交通仿真测试将是未来自动驾驶仿真技术的一个重要研究领域；自动驾驶汽车取代传统汽车不是一蹴而就的事情，必然在相当的一段时间内处于两者共存的局面，因此传统汽车与自动驾驶汽车混行将是一种常见的交通场景。甚至还需要建立自动驾驶车辆在不同渗透率下的混合交通仿真模型。

4）数字孪生技术将为自动驾驶仿真测试发展道路上的一大助力，是仿真测试的增效利器； 数字孪生就是在虚拟环境中建立一个和现实世界一致的模型。自动驾驶数字孪生测试VRIL(Virtual Reality in the Loop)即真实的车辆在真实的测试场地中进行测试，将同时映射到虚拟的测试环境中，从而完成虚、实状态的同步，实现整个数字孪生系统的闭环实时仿真测试。

5）当前自动驾驶仿真测试主要还是偏向于传统的主被动层面的安全性及可靠性等方面的测试验证，以及用于感知、规划决策及控制算法的研发或迭代升级；但是每个自动驾驶车辆都不是孤立存在的，必然是网联化的，是作为整个智慧交通体系中的一个智能节点而存在，因此信息安全方向的验证测试与评价也必然是未来自动驾驶仿真测试的一个重要研究方向。