讨论在处理功能不足时基于模型的系统分析的完整性报告

高度自动驾驶（HAD）车辆是在开放环境下运行的复杂系统。当发生功能不足时，环境的复杂性和开放性可能会导致不安全和不确定行为。对这些限制和不足进行建模需要考虑所有可能的情况和影响HAD车辆性能的因素。

国际标准化组织（ISO）公布了可公开获得的规范（PAS）， ISO/PAS 21448道路车辆安全预期功能安全指南（SOTIF）。SOTIF指南的目标是确定可能导致潜在危险行为的功能不足引起的性能限制和触发条件。

无人驾驶汽车的性能评估是一项复杂的任务，它取决于许多影响因素。随着时代的发展，对所有影响因素的分析变得具有挑战性，甚至是不可行的。因为影响因素的数量是无限的，它们的状态和它们的组合是呈爆炸式增长。从SOTIF的角度来看，这种情况会引起完整性问题。

在本报告中，我们将讨论在强调完整性的情况下，适用于解决基于模型的系统分析功能不足的方法。我们还简要讨论了不完备性的来源。

01  介绍

高度自动驾驶（HAD）车辆是在开放环境下运行的复杂系统。由于感知和理解操作环境的局限性和不足以及复杂性和开放性可能导致不安全和不确定的行为。对这些限制和不足进行建模需要考虑所有可能的情况和影响HAD车辆性能的因素。

国际标准化组织（ISO）公布了可公开获得的规范（PAS）， ISO/PAS 21448道路车辆安全预期功能安全指南（SOTIF）。SOTIF指南的目标是，确定可能导致潜在危险行为的功能不足引起的性能限制和触发条件。具体而言，SOTIF应用于预期功能，其中适当的态势感知对安全至关重要，态势感知来自复杂的传感器和处理算法。

在考虑性能不足、或固有的不确定性的情况下，从SOTIF的角度对HAD车辆的性能进行评估并不是一项简单的任务。因为基于一组基本的安全要求或关键性能指标（KPIs）的特征是不可能的。许多影响因素影响着这类系统的性能。这些影响可能源于传感器固有的性能限制或规范不足。这也可能取决于触发条件的存在。例如，基于激光雷达的感知系统的功能性能可能取决于探测、反射、天气和道路状况的空间分布。

对系统的依赖关系和影响因素进行建模，以评估性能限制，从而评估相关的不确定性，这对于SOTIF论证非常重要。这样的模型可以在开发过程中对系统的功能性能提供有价值的见解。ISO/PAS 21448根据情景因素提供了这些依赖关系的列表，但没有提供对这些情景因素进行建模的具体步骤。然而，如前所述，这种评估（HAD车辆）需要对许多影响因素进行表征。SOTIF提供了覆盖影响因素搜索空间的方法，包括多重分析技术，但没有对其穷尽性进行任何论证。当使用基于模型的系统分析技术评估功能不足时，这种争论导致了完整性问题。基于模型的功能不足评估中的不完整性可能源于系统的复杂性、复杂的组件交互、分析中的抽象以及它们部署的开放环境。因此，完备性的合理论证是基于模型的系统功能不足分析的一个重要方面。

我们打算在这份报告中讨论以下两个方面：

· 针对功能不足的不同MBSA技术；

· 技术的完备性。

本报告的其余部分如下。第二章节介绍了使用的术语。第三章节简要介绍了ISO PAS 21448活动。第四章节提供了用于解决功能不足建模的基于模型的系统分析技术。在第五章节中，讨论了完整性问题。最后，在第六章节中我们讨论了结论。

02  术语

在下文中，我们提供了本报告中使用的术语。下面列出的所有术语都取自ISO PAS 21448，而选择性、认识论和本体论的不确定性定义则取自Gansch等人的著作。

· 功能不足：规范的不足或性能限制；

· 规范不全：规范可能不完整，与一个或多个触发条件一起导致危险行为；

· 性能限制：在一个或多个触发条件下导致危险行为的技术能力的限制；

· 触发条件：作为导致危险行为的后续系统反应的发起者的场景的特定条件；

· SOTIF：不存在因预期功能或其实施的功能不足而导致的不合理风险；

· 危害：由系统的危险行为引起的潜在危害源；

· 偶然的不确定性：偶然的不确定性可以看作是系统模型所表示的过程的随机性；

· 认知不确定性：认知不确定性与缺乏关于系统模型的知识和物理系统对模型的不精确编码有关；

· 本体论的不确定性：本体论的不确定性可以定义为在系统的一个相关方面的模型中完全无知的情况。

03  ISO PAS 21448

ISO PAS 21448将用例的相关场景分为四个区域（图1）。这种分类的目的是提供一个概念抽象，可以定义SOTIF过程的总体目标（减少未知和不安全的场景）。在SOTIF下开展的活动的目的是尽可能增加领域1。适用SOTIF的任何用例都可以由已知和未知的场景组成。通过场景发现和用例的识别，可以减少未知和不安全的场景。如果存在相对较大的区域2和3，则可以认为存在不合理的风险。SOTIF过程在区域1、区域2和区域3以及相关场景方面的目标是:ISO PAS 21448用三个步骤定义了核心活动。

图1:由ISO 21448活动产生的场景类别的演变

• 区域1：为了提高安全功能，最大化该区域。这指的是场景发现和识别；

• 区域2：为了功能安全，该区域应最小化到可接受的最小级别。此外，通过改进功能，可以将危险场景转移到区域1；

• 区域3：为了最小化这个区域，需要付出相当大的努力来发现未知的危险场景。SOTIF指的是用于此目的的验证活动；

• 区域4:尽管区域4没有危险，但在对区域2和3进行最小化时，区域4的一些情况将被识别和发现。

SOTIF提供了一个活动的流程图，这些活动反过来又可以提供SOTIF的改进（部分显示在图2中）。活动的大致分类如下：

• 通过分析评估；

• 评估已知的危险情景；

• 评估未知危险情景。

图2：ISO 21448活动的部分流程图 只显示了识别阶段

由于本报告旨在讨论功能不足的完整性问题，因此只详细讨论了第一部分。该过程从功能定义、规范和设计开始。

然后对性能限制可能存在的危害行为进行识别，并对其风险进行评估。如果风险可能造成不可接受的伤害，则进行功能不足和触发条件的识别（例如，导致障碍物漏检的环境条件或驾驶员误操作）。第一步识别不考虑危险行为的原因，而功能不足和触发条件的识别详细讨论了危险行为的原因。

功能不足、性能限制和触发条件的识别可以定量地或定性地进行。在这方面，该标准指的是演绎和归纳方法，包括故障树分析（FTAs）、系统理论过程分析（STPA）和故障模式和影响分析。此外，ISO PAS 21448还提供了一个表（表1）作为识别和评估功能不足、性能限制和触发条件的方法。

表1：潜在功能不足及触发条件分析

此外，ISO PAS 21448将潜在功能不足的识别分为以下几个部分：

算法相关：分析可以考虑以下类别：

- 环境及位置；

- 道路基础设施；

- 城乡基础设施；

- 公路基础设施；

- 驾驶员或用户行为（包括合理可预见的滥用）；

- 其他司机或道路使用者的预期行为；

- 驾驶场景（例如建筑工地、意外、设有紧急通道的交通挤塞、车辆逆行）；

- 算法限制（例如无法处理可能的情况，或不确定的行为）。

传感器与执行器相关：分析可考虑以下几类：

- 天气情况；

- 机械干扰（例如，由于传感器在车辆上的位置而产生的振动导致传感器输出噪声）；

- 传感器上的污垢；

- 电磁干扰；

- 来自其他车辆或其他来源（例如雷达或激光雷达）的干扰；

- 声音干扰；

- 眩光；

- 反射质量差；

- 准确性；

- 范围；

- 反应时间；

- 耐用性；

- 授权能力（适用于执行机构）。

安全性分析方法（表1）用于识别和评估功能不足、触发条件及其依赖关系。这些方法还可以评估和分析ODD、情景和环境影响。然而，正如本节前面所讨论的，这些活动的目标是最大化区域1（图1）。这需要发现和识别所有可能导致危险行为的依赖关系、触发条件、功能不足和性能限制。由于系统模型是真实世界的近似值，因此提供一个完整的分析，其中每个危险行为及其导致的识别和它们的依赖关系建模是不可行的。在接下来的章节中，将讨论针对功能不足的不同基于模型的系统分析方法。这方面的完整性问题紧随其后。

04  基于模型的系统功能不足分析

故障树分析

故障树分析（FTA）是一种由上往下的分析方法。它基于由事件表示和逻辑操作（或门和与门）组成的标准化符号。FTA从一个通常表示失效的不期望发生的顶事件开始。该事件随后被推断，直到无法做进一步推断为止。这些无法被进一步推断的事件被称为基本事件。通过实例化基本事件（图3），可以得到不期望发生的事件的图形化表示。FTA被认为是一种组件技术（可以扩展到系统）。由于上一节中讨论的依赖关系和功能不足更为复杂，因此使用或门和与门对它们进行定义可能无法提供完整的交互画面。定性分析包括寻找最小路径集、最小割集和共因失效。通常用确定性方法和蒙特卡罗方法求最小割集。在已知基本事件的结构表示和发生率或故障持续时间的情况下，可以进行定量分析。定量分析的结果就是顶事件发生的概率。

图3：故障树分析示例

失效模式及影响分析

失效模式与影响分析（Failure Mode and Effect Analysis, FMEA）是一种自下而上的可靠性工具。在开发过程中，FMEA定义和识别系统已知的和潜在的失效模式，并帮助减少它们。该工具还确定已识别的失效模式的发生率和严重程度。然后根据失效模式的发生、可控性和严重程度计算风险优先级数（RPN），从而对失效模式进行优先排序（表2）。SOTIF提供了一种改进的FMEA形式，它考虑的是危害行为而不是失效模式。

表2：用于SOTIF分析的FMEA裁剪矩阵

贝叶斯网络

概率图模型（PGMs）和贝叶斯网络（BNs）是可靠性研究中常用的工具。BN是一个由节点和边组成的有向无环图（DAG）。一个节点表示一个随机变量(X1 , . . . , Xn )，而边则从父节点(pa)向子节点(ch)运行。这种节点和边的组合代表了BN的结构。两个节点之间的依赖关系使用条件概率分布Pr(ch | pa)建模。数学上，BN可以写成如下：

BN对于系统的不确定性建模和概率推理是有效的。更具体地说，它对系统模型的选择性不确定性进行建模。图3所示FTA的等效BN如图4所示。

图4：故障树的贝叶斯网络示例

BN利用模型中局部条件的依赖关系，进行不确定性分析，对影响因素进行预测、分类和因果推理。它还假设了两个完备性条件：

• 所有概率或概率分布都都以可理解的工程精度为已知；

• 描述系统组件可靠性的每个随机变量都是独立的，或者它们的相关性是精确已知的。

有人认为，这两个条件都很少得到满足。以下小节将讨论基于证据理论的两个网络。

证据网络

证据网络也是有向无环图（DAGs），它将不确定性表示为随机性（aleatory）和知识缺乏（epistemic）。它们采用证据理论而不是概率论。它们用节点来表示随机变量，用弧来定义节点之间的直接依赖关系，用条件置信度来量化依赖性。当一个节点是根时，定义一个先验的置信度表。Simon等人使用BN推理算法进行EN推理。通过提供置信度和合理性度量，仅对叶节点进行了区分（图5）。虚线箭头表示这些连接不存在任何影响。

图5：证据网络示例

扩展性证据网络

扩展证据网络（EENs）是有向无环图（DAGs）。它们将不确定性表示为随机性（偶然性）、缺乏知识（认识性）和完全无知状态（本体论）。它们用节点来表示随机变量，用弧来定义节点之间的直接依赖关系，用条件置信度来量化依赖关系。当一个节点是根时，定义一个先验的置信度表。叶节点表示网络的查询。Adee等人使用BN推理算法进行EN推理。此外，叶节点是不同的，因为提供了置信度和多种合理性度量（图6）。

图6：扩展证据网络示例

05  完备性问题

在基于模型的系统分析中，功能不足的最重要的完整性问题之一与因果因素有关；所有能够影响用例的因素都被考虑在内了。这种担忧可以与以下两个假设相关：

• 模型是开放上下文的一个很好的近似；

• 模型覆盖了罕见事件。

可能发生的情况是，并不是所有的影响因素、触发条件和功能不足都编码在模型中。此外，在定量分析的情况下，分配的概率并不能代表现象的真实相对频率。

罕见事件发生现象是安全工程中一个众所周知的问题，它代表了以非常低的频率发生的重要现象的问题，例如，在沙漠降雨中可以被认为是罕见事件，并且对不同感知系统的影响可能无法完全量化（至少在特定的用例中不是这样）。从SOTIF的角度来看，这些状态也可能对安全至关重要。虽然，模拟可以提供帮助，但它们通常会挑战现实世界的真实表现。

从表示的角度来看，EN和EEN通过使用概率区间以及部分和完全无知的状态来编码这些假设。然而，发现新的因素，特别是罕见的事件是一个开放的研究课题。安全工程完全依赖于专家知识来识别新因素，然而，对于部署在开放环境中的自动驾驶和其他复杂系统来说，这种策略被认为是不可行的。我们相信，随着收集的数据量的增加，混合（数据和专家）方法是一个有前途的方向。

不同组件的相互作用可能导致紧急行为。同样，部署这些系统的环境的开放式上下文性质放大了这个问题。例如，需要详细了解大雨如何影响不同的感知传感器。当考虑多种因素（例如大雨和遮挡）时，问题会变得更糟。BN及其后续扩展（EN和EEN）对该问题进行了建模，但需要详细的知识和广泛的数据库才能提供可靠的结果。

模型是根据现实世界的某种抽象来定义的。通过不同的抽象，我们可能会得到不同的结果，例如，一个更低、更具体的雨的抽象将是离散的水滴大小和每小时降雨量的毫米数的值，进一步更低的抽象可能会呈现连续分布。抽象极大地改变了定量分析中的概率值。解决这一问题的一个有希望的方向是使用完善的ODD分类法对抽象进行基准分析。在这方面，也可以使用动态离散化方法。

在定量分析技术中，训练数据集和测试数据集被不恰当地分离。一般来说，训练数据集和测试数据集之间存在高度相关性，并且通常是同时记录的。这会导致定量分析中的过度拟合，可能无法代表真实的情况。

04  结论

在本报告中，我们讨论了基于模型的系统分析技术，同时考虑了方法的完整性。我们提供了ISO PAS 21448活动的摘要，以提供对功能不足的深入理解。然后，我们简要概述了用于功能不足模型的基于模型的系统分析技术，并讨论了不完备性的来源。

功能不足的识别和发现是预期功能安全的核心构建模块。随着HAD车辆实现更高水平的自动化，分析变得更加重要。然而，对这种分析的完整性提供论证是一项具有挑战性的任务。我们发现包括混合机制（即半自动分析技术），在内的广泛研究很有前途。特别是，自动识别相关状态空间以进一步发现功能不足可能会对安全专家有所帮助。然而，必须特别注意确保此类方法的可追溯性。我们还认为，这个过程是迭代的，应该在系统运行期间使用。