自动驾驶合规宝典20～仿真工具链的置信度评估（上）

1.置信度评估的动机、范围和框架

2.建模&仿真管理

3.建模&仿真分析和描述

4.建模&仿真验证

在自动驾驶系统的开发过程中，仿真测试和置信度评估是相互依存、相互促进的。通过仿真测试可以发现潜在的问题和风险，而置信度评估则可以确保仿真测试结果的可靠性和有效性。因此，在自动驾驶系统的开发过程中，应充分利用仿真测试和置信度评估手段，不断提高自动驾驶系统的安全性和可靠性。

在ADS合规认证时，仿真工具链的置信度评估也是自动驾驶合规认证五支柱之一的仿真测试符合性评估的重要前提。

1. 置信度评估的动机、范围和框架

由于M&S（Model&Simulation建模和仿真）软件包的计算能力、准确性、可用性和有效性的提高，建模和仿真（M&S）的使用变得越来越广泛。M&S对于ADS安全验证是有益的，因为它提供了一个机会来克服实际测试的一些限制并增加测试场景的数量。尽管如此，M&S也可能导致错误或看似正确的结果，特别是在M&S没有得到充分的验证的复杂模拟中。

因此，需要对M&S置信度有更高的信心，以便可以使用仿真测试而不是与其他测试支柱一起使用。换句话说，只有评估员考虑到M&S的潜在不确定性之后做出明智的决策，认为仿真结果足够可信，M&S才可以用于仿真测试。

（a）确定一个通用框架来确定、证明、评估和报告M&S工具链的整体置信度。

（b）确定一种方法来指示验证评估时结果的置信度水平，并确定工具链的适用领域。

这个置信度评估框架应该足够通用，可用于不同的M&S类型和应用程序。不幸的是，由于ADS功能的范围和差异以及使用的模型和工具链的多样性，这个目标变得更加复杂。这些考虑导致：使用一个（基于风险/知情的）置信度评估框架，可以应用于所有M&S应用程序。

下述的置信度评估框架提供了：评估M&S解决方案置信度所需的主要方面的描述，以及评估员在置信度验证过程中发挥的作用的指导方针。评估员应在审计阶段调查支持置信度的留档和证据。只有足够的证据表明模型或工具链产生了可信的结果，才能进行接下来的实际验证测试。

M&S置信度评估的结果将确定仿真工具可用于支持ADS评估的范围。

置信度评估框架的组成部分：

如果通过评估仿真工具链的适用性来建立ADS仿真测试结果的置信度，建议通过调查和评估五个M&S属性来实现其置信度评估：

下图以图形方式表述了置信度评估框架各组件之间的关系：

这些因素的处理程度表明了M&S工具链所达到的质量水平，获得的水平与所需水平之间的比较提供了M&S置信度及其在仿真测试中的适用性的定性度量。

2. 建模&仿真管理

M&S生命周期是一个动态过程，具有频繁的版本发布和更新，应进行监控和记录。因此，需要建立管理活动，通过典型的产品管理流程支持M&S。本节应包括以下方面的相关信息：

（a）描述M&S工具链版本中的修改；

（d）在整个仿真测试使用期间得到支持。

2.1 发布管理

建议存储用于发布认证数据的任何M&S工具链版本。构成测试工具的模型应根据相应的验证方法和接受阈值进行记录，以支持工具链的整体置信度。开发人员应建立并强制执行一种方法，将生成的数据跟踪到相应的工具链版本。

虚拟数据的质量检查。在工具或工具链的整个发布和生命周期中确保数据的完整性、准确性和一致性，以支持验证和验证程序。

2.2 团队的经验和专业知识。

尽管组织内成员普遍具备智驾相关的经验和专业知识E&E（Experience and Expertise），但建立从业人员对M&S活动的特定经验和专业知识对信心基础非常重要。

M&S的置信度不仅取决于模型的质量，还取决于参与M&S验证和使用的人员的经验和专业知识E&E。例如，正确理解M&S限制和验证领域将防止可能的M&S误用或对其结果的误解。

重要的是建立ADS制造商对以下经验和专业知识的信心基础：

（a）评估和验证M&S工具链的团队；

（b）使用经过验证的模型来执行仿真测试以验证ADS的团队。

因此，如果团队的E&E表现良好，通过确保考虑到支撑M&S活动的人为因素，并通过其管理系统控制活动的人为方面的风险，可以提高信心水平，从而提高M&S及其结果的置信度。

如果ADS制造商的工具链包含或依赖于制造商自己团队之外的组织或产品的输入，ADS制造商需要说明其为管理和培养这些输入的质量和完整性而采取的措施。

团队的经验和专业知识E&E包括两个方面：

（a）组织层面：通过建立流程和程序来确定和维护执行M&S活动所需的技能、知识和经验。应建立、维护和记录以下流程：

（b）团队层面：一旦工具链最终确定，其置信度主要取决于首先验证M&S，然后将其用于验证ADS的团队的技能和知识。置信度是通过记录这些团队接受了履行职责的充分培训来建立的。

ADS制造商应：

（a）为验证M&S工具链的个人/团队的经验和专业知识的信心提供基础；

（b）为使用模型执行仿真测试以验证ADS的个人/团队的经验和专业知识的信心提供基础。

ADS制造商应证明其如何应用其管理体系的原则，例如ISO9001或类似的最佳实践或标准，关于其M&S组织和该组织中的个人的能力以及这一决定的基础。建议认证官不要用自己的判断代替ADS制造商对组织或其成员的经验和专业知识的判断。

2.3 数据/输入谱系

数据和输入的谱系和可追溯性在M&S验证中非常重要。制造商应该有这些记录，以便认证官验证它们（数据/输入谱系）的质量和适当性。

（a）用于M&S验证的数据描述：

（b）数据质量（例如数据覆盖率、信噪比和传感器的不确定性/偏差/采样率）对模型参数不确定性的影响。

用于开发模型的数据质量将影响模型参数的估计和校准。模型参数的不确定性将是最终不确定性分析中的另一个重要方面。

2.4 数据/输出谱系

输出数据的谱系很重要，制造商应记录M&S工具链的输出，并确保它可追溯到输入和产生它的M&S工具链。这将成为ADS验证的证据线索的一部分。

M&S生成的数据描述

（a）ADS制造商应提供用于仿真测试工具链验证的任何数据和方案的信息；

（b）ADS制造商应记录输出的数据，并注意重要的质量特征，例如使用关联方法；

（c）ADS制造商应跟踪M&S输出与相应的M&S设置的关联信息：

（i）数据质量对M&S可信度的影响：M&S输出数据应足以确保验证工作的正确执行。数据应充分反映与ADS仿真评估相关的ODD。输出数据应允许对仿真模型进行一致性/完整性检查（通过利用冗余信息）。