传感器仿真模型的可信度评估方案

一、引言

由于仿真是对真实世界进行抽象建模并通过编程实现，仿真得到的计算结果与真实仿真对象的表现存在差异，因此模拟仿真测试的可信度成为当前亟需解决的关键问题，需要提出有效的评估方法。传感器建模是仿真测试的关键环节之一，其建模质量决定了仿真测试中智能网联汽车感知环境目标对象的保真度。延续《自动驾驶传感器仿真模型的可信度研究》的思路，本篇文章对传感器模型的可信度评估方法进行深入研究，并且提出基于“典型场景-感知目标集-评价指标”的方法论，为企业开展传感器模型可信度评估工作提供参考。

二、可信度评估框架及方法

本章节的思路主要可分为两部分：一方面，根据不同建模层级的传感器模型，采用不同的评估方法；另一方面，根据不同的评估方法，基于ADS功能确定典型场景、观测量并选取相应的评价指标。

2.1评估框架：三个层级

根据对真实世界感知结果的保真度以及传感器建模的复杂程度，传感器模型可分为理想传感器、混合传感器、物理传感器三个层级。基于传感器的不同建模层级分类以及传感器仿真建模评价研究，可信度评估框架如图1所示。

图1 传感器模型可信度评估框架

理想传感器：理想传感器的工作方式为直接从仿真软件的环境数据中提取探测范围内的环境真值（Ground Truth，GT），并将其作为传感器感知目标的检测结果。若将理想传感器的感知结果与真实传感器的检测结果作为真值进行对比，理想传感器感知结果存在过精度（精度过高的情况）；若将理想传感器的输出结果直接与环境真值进行对比，由于其结果即为环境真值，则无需进行可信度评估。

混合传感器：在理想传感器的基础上，考虑噪声和目标物属性等因素，在理想待输出对象的数据信息中增加误差信号。由于叠加的误差参数可能不够准确且不够全面，混合传感器在输出目标列表时可能存在与真实传感器输出目标列表不一致的问题。因此，需通过对比修正后的目标列表，开展传感器模型的可信度评估。

物理传感器：对传感器工作链路进行物理级建模，建模过程中考虑传感器与目标物特性对信号产生的干扰与影响，以此间接获得传感器感知结果的偏差。由于该层级建模过程存在中间建模环节和中间量采集，因此，为更全面评估可信度，除在目标列表层级展开评估外，还应尽可能通过对比图像、点云等原始数据，或各模块输出的中间量，来对传感器模型的可信度进行评估。

2.2评估方法

基于“典型场景-感知目标集-评价指标”的评估方法，主要通过典型场景设计，确定感知目标及其观测量并选取评价指标，进行传感器模型与真实传感器输出结果的比对。

图2 传感器模型可信度评估流程

2.2.1典型场景

基于自动驾驶感知功能及其设计运行域，确定场景元素，构建典型场景。考虑到不同测试场景中，场景元素的复杂程度会对感知结果产生影响，进而影响传感器模型可信度的评估结果，赛目科技提出“简单场景→复杂场景”的典型场景设计框架，如图3所示。

图3 典型场景设计框架

参考GB/T《智能网联汽车 自动驾驶系统设计运行条件》[1]，基于ODD基础元素集合，通过组合叠加不同类型的场景元素（包括道路、道路设施、目标物和天气环境），构建典型测试场景。典型场景中的感知目标应全面覆盖自动驾驶功能ODD范围内的各类要素。感知测试场景元素部分示例如图4所示。

图4 场景基础元素-示例

2.2.2感知目标集

基于测试场景中常见的感知目标种类，可进一步区分其对应的目标ID、颜色、位置、速度、加速度等属性，梳理出场景中涉及的感知目标集（如图5所示），其中①为目标类型，②~⑦为观测量。更多感知测试项内容还可参考T/CSAE 266.1—2022《智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法 第1部分：通用方法及指标定义》[2]。

图5 感知目标类型及观测量

基于典型场景的特点并结合不同类型的传感器，确定场景中需识别的目标对象，并选取对应的目标列表/原始数据观测量。以相机模型为例，在目标列表层面，将真实相机与仿真模型输出的车道线三次方程进行对比；在原始数据层面，利用真实镜头效果的图片和仿真镜头效果的图片进行对比，统计每个像素点的对应的RGB数值，以此来实现对图像质量的验证。

图6 “传感器类型-目标列表/原始数据”观测量

特别地，若针对相机传感器进行物理级建模，还可通过对比模型输出的中间量开展评估。

图7 相机传感器物理级建模框架

2.2.3评价指标

根据感知系统观测量在整个测试过程的试验结果计算各评价指标，主要可分为以下两种类型。① 目标识别正确与否的判断：通过准确率、精确率、召回率、Jaccard系数等指标来进行评价，并利用这些指标计算出综合的误差进行比较，②观测量为连续型数据：通过数值精度、拟合优度等指标进行评价。感知目标集中观测量类别对应的评价指标[3]如表1所示。

表1 观测量类别-评价指标

（1）准确率-Accuracy

指预测正确的结果占总样本的百分比，用于判断总的正确率，准确率的计算方法如公式（1）所示。

（2）精确率-Precision

所有被预测为正的样本中实际为正的样本的概率。精确率和准确率看上去有些类似，但是完全不同的两个概念。精确率代表对正样本结果中的预测准确程度，而准确率则代表整体的预测准确程度，既包括正样本，也包括负样本。精确率的计算方法如公式（2）所示。

（3）召回率-Recall

实际为正的样本中被预测为正样本的概率，又称查全率。召回率的计算方法如公式（3）所示。

（4）F1分数-F1 score

精确率和召回率的调和平均数。F1分数的最大值是1，最小值是0，值越大意味着模型的性能越好。F1分数可以看作是模型精确率和召回率的一种调和平均，它的计算考虑了精确率和召回率的重要性。F1分数的计算方法如公式（4）所示。

（5）Jaccard系数

用于度量两个集合的相似度，仅关心个体间共同具有的特征是否一致。Jaccard系数的取值范围在0到1之间，值越大表示两个集合越相似，值为0表示两个集合没有任何交集，值为1表示两个集合完全相同。Jaccard系数的计算方法如公式（5）所示。

其中：

——集合A与B的交集中元素的个数；

——集合A与B的并集中元素的个数。

（6）多目标识别准确度（MOTA）

用于统计在识别过程中的误差积累情况，包括误检数FP、漏检数FN、误配数IDSW以及真实结果GT。多目标识别准确率的计算方法如公式（6）所示。

其中：

FN  ——在第i帧中该目标没有假设位置与其匹配；

FP  ——在第i帧中给出的假设位置没有跟踪目标与其匹配；

IDSW——在第i帧中跟踪目标发生ID切换的次数（多发生在遮挡情况下）。

（7）多目标识别精确度（MOTP）

用于衡量目标位置确定的精确程度，包括正检数TP、预测结果DUT和真实结果GT。多目标识别精确度的计算方法如公式（7）所示。

其中：TP——在第i帧中该目标有假设位置与其匹配，即第i帧目标与假设的匹配个数。

（8）数值精度（Mean accuracy）

用于表示观测值与真值的接近程度，是预测结果与被测真值之间的百分比误差，包括预测结果DUT和真实结果GT。数值精度的计算方法如公式（8）所示。

（9）拟合优度（）

回归分析中用来检验样本数据点聚集在回归线周围的密集程度，用于评价回归方程对样本观测值的拟合程度。的值越接近1，说明模型对观测值的拟合程度越好。拟合优度计算方法如公式（9）所示。

其中：

——样本目标变量的真实值；

——使用回归模型预测的目标变量值；

 ——样本目标变量的平均值。

（10）欧几里得度量（Euclidean Metric）

基于真实点云中每个点到模拟点云每个点的最小欧几里得距离进行计算，真实的点云用GT＝（）表示，模拟的点云用DUT＝（）表示，最小欧几里得距离的计算方法如公式（10）所示。

其中：

——点云距离度量；

——真实或模拟点云的最大点数。

3.可信评估方案应用

本章节主要针对目标列表层面对应典型场景的可信度评估方案进行应用示例。根据自动驾驶系统感知功能设计典型场景，确定关键参数取值（如道路类型、车道线颜色、测试车辆初始速度等），并明确场景中的感知目标。以自适应巡航控制系统（ACC）功能为例，基于2.3.1中的“简单场景→复杂场景”设计理论，列举典型场景示例如表2所示。

表2 典型测试场景-示例

（1）场景构建

为验证传感器模型可信度，初步构建一个“前方存在静止目标车”的简单场景开展对比试验。

场景描述：一条双向四车道长直道路，车道宽度为3 m。试验车辆同车道前方79.86 m处存在静止的目标车辆，试验车辆以初始速度36 km/h从初始位置出发，按照预设轨迹路线行驶3 s后，以1.1 m/s² 的减速度减速至停止。

图8 仿真场景搭建

（2）感知目标-观测量

基于上述测试场景，确定场景中需识别的目标对象为车道线和目标车辆，基于不同传感器种类，选取对应的观测量分别为三次多项式常数项和目标车辆相对距离。

（3）评价指标

本文初步采用数值精度的评价指标，通过公式（8）进行混合传感器模型的可信度评估。

基于Sim Pro中混合相机传感器模型开展验证，输出的车道线三次多项式的常数项（左正右负）与路采数据的对比结果如图9所示。

图9 混合相机-仿真与路采结果对比（车道线）

基于Sim Pro中混合相机传感器模型、混合毫米波雷达传感器模型、混合激光雷达传感器模型开展验证，输出的目标车辆相对距离与路采数据的对比结果如图10所示。

图10 混合传感器-仿真与路采结果对比（目标车辆相对距离）

小结

本篇文章基于三种传感器建模层级的评估框架进行分析，对传感器模型的可信度评估提出“典型场景-感知目标集-评价指标”的方法论，分别论述典型场景构建、感知目标集确定以及对应评价指标选取的思路。最后，基于传感器模型可信度评估方案，以混合传感器模型为例进行应用对比验证。未来，赛目科技还将从智能网联汽车“三支柱”测试方法论知识体系持续开展研究，敬请期待！

参考文献

[1] GB/T《智能网联汽车 自动驾驶系统设计运行条件》[S].

[2] T/CSAE 266.1—2022《智能网联汽车 辅助驾驶前向视觉感知性能要求及测评方法 第1部分：通用方法及指标定义》[S].

[3] 周志华等．机器学习[M]．清华大学出版社，2016.