自动驾驶合规宝典21～仿真工具链的置信度评估（下）

1.置信度评估的动机、范围和框架

2.建模&仿真管理

3.建模&仿真分析和描述

4.建模&仿真验证

3. 建模&仿真分析和描述

 M&S分析和描述旨在定义整个工具链，并确定可以通过仿真测试评估的参数空间。它定义了模型和仿真工具的范围和限制，以及可能影响其结果的不确定性来源。

3.1 一般说明

 ADS制造商应提供仿真工具链的完整描述，以及如何使用M&S数据来支持ADS验证策略。

ADS制造商应提供测试目标的清晰描述。

3.2 假设、已知限制和不确定性来源

ADS制造商应详细说明建模假设，以指导M&S工具链的设计。ADS制造商应提供以下证据：

 ADS制造商应提供证据，证明M&S与真实世界的相关性误差对于测试目标是可接受的。

 ADS制造商应提供有关模型中不确定性来源的信息，这将代表最终不确定性分析的重要输入，该分析将定义M&S工具链输出如何受到所使用的M&S工具链的不同不确定性来源的影响。

3.3 范围（模型的作用是什么？）

范围定义了如何在ADS验证中使用M&S。仿真工具的置信度应通过明确定义的M&S工具链的范围来加强。

成熟的M&S应该允许物理现象的虚拟化，其准确度与认证所需的保真度水平相匹配。因此，M&S环境将充当ADS测试的“虚拟试验场”。

M&S工具链需要专门的场景和指标进行验证。用于验证的场景选择应该足够多，以便有信心M&S工具链在未包含在验证范围内的场景中以相同的方式执行。ADS制造商应提供验证方案列表以及相应的参数描述限制。

ODD分析是获得M&S工具链必须考虑支持ADS验证的需求、范围和效果的关键输入。为场景（正常、紧急、故障、边缘等场景）生成的参数将定义仿真工具链和仿真模型的外部和内部数据。

3.4 危害分析

整个仿真工具链中使用的仿真模型和仿真工具应根据其在最终ADS产品中出现安全错误的情况下的影响进行调查。ISO26262提出了一种危害分析方法，该方法要求开发过程中使用一些危害分析工具证。为了得出仿真数据的危害程度，危害程度分析考虑以下参数：

（a）对人类安全的后果，例如ISO26262中的严重等级；

（b）M&S工具链结果影响ADS的程度。

下表提供了一个危害程度评估矩阵示例来演示此分析。ADS制造商可以根据其特定用例调整此矩阵。

 从危害程度评估的角度来看，评估的三种可能情况是：

4. 建模&仿真验证

 M&S的验证涉及对创建和构建整个工具链的概念/数学模型的正确实施进行分析。验证通过确保单个工具不会对一组无法测试的输入表现出不切实际的行为来提高M&S的可信度。该程序基于下文描述的步骤方法，包括代码验证、计算验证和灵敏度分析。

4.1 代码验证

代码验证涉及测试的执行，以证明没有数值/逻辑缺陷影响仿真模型。

（a）制造商应记录正确代码验证技术的执行情况，例如静态/动态代码验证、收敛分析和与精确解决方案的比较（如果适用）。

（c）只要数据允许，制造商应采用健全性/一致性检查程序。

4.2 计算验证

 计算验证是为了处理影响M&S的数值误差估计。

4.3 灵敏度分析

灵敏度分析旨在量化模型输出值如何受到模型输入值变化的影响，从而确定对仿真模型结果影响最大的参数。灵敏度研究还提供了确定仿真模型在受到参数微小变化时满足验证阈值的程度的机会，因此它在支持仿真结果的可信度方面发挥着基础作用。

4.4 验证

确定建模或仿真从M&S的预期用途的角度准确代表现实世界的程度的定量过程。建议在评估模型或仿真的有效性时考虑以下事项：  

（a）性能度量/指标

 性能度量是用于比较ADS在仿真测试中的性能与在现实世界中的性能的指标，性能度量是在M&S分析期间定义的，验证指标可能包括：

     （b）适合度度量

        用于比较现实世界和仿真指标的分析框架通常作为关键绩效指标（KPI）得出，指示两组数据之间的统计可比性。验证应表明这些KPI已得到满足。

（c）验证方法论

（i）验证子系统模型，例如环境模型（道路网络、天气条件、道路用户交互）、传感器模型（无线电探测和测距（毫米波雷达）、光探测和测距（激光雷达）、摄像头）、车辆模型（转向、制动、动力总成）；       

（ii）验证车辆系统（车辆动力学模型与环境模型一起）；

        在M&S分析期间定义了相关阈值的要求，验证应表明满足这些KPI。

 评估员（认证官）应审核制造商提供的留档，并可能对完整的集成工具进行测试。如果仿真测试的输出不能充分复制物理测试的输出，评估员可以要求重复仿真和/或物理测试。测试的结果将被审查，结果中的任何偏差都应与制造商沟通重新审查。需要充分的解释来证明测试配置导致结果偏差的原因。

（h） 不确定性表征

本节涉及表征仿真工具链结果的预期变性。评估应由两个阶段组成。在第一阶段，从“M&S分析和描述”部分和“数据/输入谱系”收集的信息用于表征输入数据、模型参数和建模结构中的不确定性。然后，通过仿真工具链传播所有不确定性，量化模型结果的不确定性。根据模型结果的不确定性，ADS制造商在使用仿真测试作为ADS验证的一部分时需要引入适当的安全裕度。

4.5 文档结构

 本节将定义如何收集和组织制造商提供给监管当局的留档中的上述信息。

（a）ADS制造商应制作一份使用此大纲结构化的文档（“仿真手册”），为所呈现的主题提供证据； 

 （b）留档应与工具链的相应发布和适当的支持数据一起交付；

 （c）制造商应提供明确的参考，允许跟踪留档到工具链和数据的对应关系；

 （d）留档应在工具链使用的整个生命周期内保持。评估员可以通过评估制造商的留档和/或进行物理测试来审核ADS制造商。