广告
交通场景的概率逻辑推理
2020-08-25 22:53:10· 来源：同济智能汽车研究所
编者按：自动驾驶的高级场景认知任务中，（例如交通参与者行为理解和预测），往往要求在基础的传感器感知任务线索之上，实现某种高级抽象语义的逻辑推理，这些逻
编者按：自动驾驶的高级场景认知任务中，（例如交通参与者行为理解和预测），往往要求在基础的传感器感知任务线索之上，实现某种高级抽象语义的逻辑推理，这些逻辑推理要求以模糊的概率形式给出，并且需要服从现有的交通规则的框架。今天推荐的一种解决方法来自于马尔可夫逻辑网络——一种无向概率图模型，他相比于贝叶斯信念网络具有不受循环论证限制的优点，且在保持语义简洁的同时很好地保留了一阶逻辑的表达能力。该文以应用于车道辅助系统为例，发表时间较早但应用场合较为典型，为了便于理解，翻译时有部分删改。
文章译自：
Probabilistic Logic Reasoning about Traffic Scenes
文章来源：
Conference Towards Autonomous Robotic Systems, 2011: 219-230.
作者：
Carlos R C Souza, Paulo E Santos
原文链接：
https://link.springer.com/chapter/10.1007/978-3-642-23232-9_20
摘要：本文描述了一个基于马尔可夫逻辑网络（MLN）的交通场景概率逻辑推理系统，其目标是提供车辆在道路上的定位和行为的高级解释（以车道辅助系统为例）。系统通过视觉线索和一阶逻辑表达式进行推理，通过对逻辑表达式形成的马尔可夫逻辑网络的学习获得各一阶逻辑表达式的权重。真实数据上进行测试表明网络输出与交通状况的常识解释相符合。
关键词：自动驾驶汽车，推理感知，马尔可夫逻辑网络，车道辅助系统
1 前言
车道偏离或压线行驶是造成汽车事故的一个重要诱因[4]。主动安全系统(如车道辅助系统)旨在通过视觉或听觉警报警告驾驶员，甚至通过控制车辆的执行器来预防事故。本文提出了一种用于车道偏离辅助系统的对视觉线索进行高级抽象的逻辑解释的方案。
商业车道辅助系统通常基于单目摄像头，依赖于车辆和车道线之间距离的定量测量[11]。在本文中，交通环境的感知是通过连接到车辆上的摄像头来感知的。车道线的离散位置(例如，右侧、左侧)和类型信息(例如，连续的、虚线的)从现成的视觉系统中提取，并用作推断车辆的位置和方向的证据。传感器、执行器和真实世界现象固有的不确定性用马尔可夫逻辑网络(MLN) [1]来处理，这有助于高级知识(如交通规则)和领域不确定性的复杂表示。MLN还允许我们根据概率推断，在传感器存在故障或不精确的情况下，估计事件发生的概率。
在[3]中，马尔可夫逻辑网络（MLN）也用于推断交通场景中的对象关系，不过它是从鸟瞰的角度进行的，不适合于我们的场景。反过来，[15]使用贝叶斯网络和描述逻辑来实现以自车为中心的推理，从而对环境进行建模。然而，贝叶斯网络对描述逻辑的表达性的缺乏，以及其无环性约束，为其在许多真实问题中的实用性带来了阻碍。正如我们将在本文中看到的那样，MLN克服了其中一些问题。
2 概率逻辑推理综述
长期以来，在人工智能中，逻辑和概率推理方法是分开处理的[14]。然而，现实世界中的许多任务需要对关系数据进行概率推理，这些关系数据表示具有大量变量的多个相关对象。这个世界模型需要被简洁地表达，以尽量减少表达和推理的复杂性。像贝叶斯网络这样的命题概率方法不足以满足这些要求，因为它们描述了一组固定的随机变量，并分别为每个变量指定了依赖关系和概率分布。因此，在过去的几十年中，已经提出了大量的一阶概率语言(FOPL)，因为它们能够通过抽象对象来紧凑地表示大量的随机变量[9]。
在[9]中，这些方法使用一阶概率语言向类别结果空间赋予概率。在另一项工作[10]中，这些方法被分成两组:外延系统和内涵系统。第一种在网络中传播一种软化的概率命题（取0-1之间的值）来表示确定性的程度，第二种则对可行域的概率分布加以限制。
在内涵方法中有进一步的划分，但是最主要的子类是知识库模型构建方法(KBMC)，它从一阶语言规范中构建一个命题图模型来回答关于一个命题的查询[14]。一些KBMC方法基于贝叶斯网络，如贝叶斯逻辑[8]或概率关系模型(PRM) [6]。其他方法有马尔可夫网络概率模型，如关系马尔可夫网络(RMN) [16]或马尔可夫逻辑网络(MLN) [13]。
与贝叶斯网络不同，马尔可夫网络是使用权重来定义实例间的相对概率的无向模型。在关系域中，一些随机变量偶尔会相互依赖，但没有明确的因果关系。在这种情况下，马尔可夫网络模型比贝叶斯网络具有优势，因为它们没有无环约束，这简化了问题的建模。然而，缺点是当使用例如现有的量化公式时，在无向图形模型中学习可能是困难的。
马尔可夫逻辑网络(MLNs) [13]近年来发展迅速，总的来说，由于其简单的语义，同时保留了一阶逻辑的表达能力。伴随着一个很好支持的软件(Alchemy [5])和它的大范围的真实领域应用，MLN相对于任何其他FOPL方法都处于高级发展阶段[14]。
MLN的基本思想是软化由一阶知识库强加的限制。每个一阶公式都有一个相关的权重，它反映了公式约束的强度:权重越高，满足公式的世界和不满足公式的世界之间的概率差异就越大[1]。在MLN中，推理可以是概率的，也可以是逻辑的，但分别是#P-完全和NP-完全的。然而，MLN允许对知识进行编码，包括特定于上下文的独立性，这使得推理更加有效。此外，还可以在马尔可夫中使用近似推理方法，如马尔可夫链蒙特卡罗(MCMC)，与吉布斯抽样，给定其马尔可夫毯后对每个变量进行轮流采样[13]。MLN中的学习可以鉴别式的，也可以是生成式的，最常用于学习和推理的算法是MC-SAT。推理和学习MLN的许多算法可以在开源软件Alchemy [5]中找到实现。
3 车道辅助系统的马尔可夫概率逻辑推理框架
本文基于马尔可夫逻辑网络(MLN)开发了一个推理系统，以推断车辆相对于车道的车辆行为(例如，它是否正在逆行，或者是否偏离了车道中心)。推理系统的数据输入(车道线的识别、分类和定位)来自视觉算法，视频处理和推理都必须是实时的。提出的框架设计如图1所示。该图基于[11]中描述的工作。
图1 车辆偏移辅助系统的整体框架
我们可以将图中的每一层描述如下:
1. 感知:提供环境信息的单目相机。在这里，我们使用一个320x240像素视频分辨率的微软VX2000网络摄像头；
2. 分割:从第1层获得的视频中提取特征(边缘)；
3. 车道线跟踪:识别车道线并跟踪它们；
4. MLN推理:基于交通领域的模型推理所关注的交通状况；
5. 车辆辅助功能:基于上一层的结果，它决定什么类型的信号或消息将被发送到下一层。该层的实现不在本工作的范围内；
6. 执行器:可以是音频警报、面板上的信息或灯。
4 一阶逻辑规则
在车道辅助系统的语境下，我们定义了以下（可枚举）变量来识别环境：
- 车道线类型={黄色实线，白色实线，黄色虚线，白色虚线，并道线}。其中，并道线是一种间距较短的虚线，用于表示汇入或汇出车道的边界。
- 道路方向类型={单行道，双行道}。
- 所在车道类型={最左侧车道，最右侧车道，其他中间车道}。
- 压在线上={压线，车道}。
- 时间（帧编号）。
基于以上变量，我们定义了如下的针对被驾驶车辆的事件谓词（命题）：
- 左（右）侧的车道线（车道线类型，压在线上，时间）：由视觉算法给出。
- 位于车道（所在车道类型，时间）：由模型推导给出。
- 向左变道（时间）：由模型推导给出。
- 向右变道（时间）：由模型推导给出。
- 位于应急车道（时间）：由模型推导给出。
- 违规驾驶行为（时间）：由模型推导给出。
- 逆行（时间）：由模型推导给出。
有了这些谓词，我们可以构造MLN一阶逻辑推导式用于编码交通规则(右手交通)和关于环境的知识。最初这些公式只是没有权重的一阶逻辑语句，权重将通过在马尔可夫网络上使用MC-SAT从数据中习得。
1. 如果车辆压在黄色实线上，或者右侧有一条黄色实线，则车辆正在进行禁止的操作。左侧的车道线（黄色实线，压线，t）∨右侧的车道线（黄色实线，车道中，t）⟹ 违规驾驶行为（t）∧逆行（t）∧道路方向类型（双向道，t）∧位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）
2. 如果没有双向道路的证据，就认为它是单向道路。¬左侧的车道线（黄色实线，*，t）∨ ¬左侧的车道线（黄色虚线，*，t）∨¬右侧的车道线（黄色实线，*，t）∨ ¬右侧的车道线（黄色虚线，*，t）⟹ 道路方向类型（单向道，t）∧ ¬道路方向类型（双向道，t）
3. 如果在任何一侧有黄色实线或黄色虚线，道路是双向道，车辆在最左侧车道上。左侧的车道线（黄色实线，*，t）∨ 左侧的车道线（黄色虚线，*，t）∨右侧的车道线（黄色实线，*，t）∨ 右侧的车道线（黄色虚线，*，t）⟹ 道路方向类型（双向道，t）∧ ¬道路方向类型（单向道，t）∧位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）
4. 如果左侧是白色实线，而右侧是白色虚线，则道路是单向的，车辆在最左侧车道上。
左侧的车道线（白色实线，车道中，t）∧右侧的车道线（黄色虚线，车道中，t）⟹ ¬道路方向类型（双向道，t）∧ 道路方向类型（单向道，t）∧位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）
5. 如果两侧都是虚线，则车辆在中间车道上。
左侧的车道线（白色虚线，车道中，t）∧右侧的车道线（白色虚线，车道中，t）⟹ ¬位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧位于车道（其他中间车道，t）∧¬位于应急车道（t）∧¬逆行（t）∧¬向左变道（t）∧¬向右变道（t）∧¬违规驾驶行为（t）
6. 如果左侧不是白色虚线，而右侧是白色虚线，车辆在最左侧车道上。
¬左侧的车道线（白色虚线，车道中，t）∧右侧的车道线（白色虚线，车道中，t）⟹ 位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）∧¬逆行（t）∧¬向左变道（t）∧¬向右变道（t）∧¬违规驾驶行为（t）
7. 如果右侧是黄色虚线，则说明汽车在逆行。要注意这并不违反交通规则。
左侧的车道线（*，车道中，t）∧右侧的车道线（黄色虚线，车道中，t）⟹ 位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）∧逆行（t）∧¬向左变道（t）∧¬向右变道（t）∧¬违规驾驶行为（t）
8. 如果左侧为白色虚线，右侧为白色连续或并道线，则车辆在右侧车道上。
左侧的车道线（白色虚线，车道中，t）∧（右侧的车道线（白色实线，车道中，t）∨右侧的车道线（黄色虚线，车道中，t））⟹ ¬位于车道（最左侧车道，t）∧位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧¬位于应急车道（t）∧¬逆行（t）∧¬向左变道（t）∧¬向右变道（t）∧¬违规驾驶行为（t）
9. 如果一个车道线是白色实线的，而另一个不是白色虚线，车辆可能在紧急车道上。
（左侧的车道线（白色实线，车道中，t）∧¬右侧的车道线（白色实线，车道中，t））∨（¬左侧的车道线（白色实线，车道中，t）∧右侧的车道线（白色实线，车道中，t））⟹ ¬位于车道（最左侧车道，t）∧¬位于车道（最右侧车道，t）∧¬位于车道（其他中间车道，t）∧位于应急车道（t）∧¬逆行（t）
10. 如果车辆压右侧线或在有右侧线合适距离的情况下压左侧线，则车辆向右换道(向左换道类似)。
右侧的车道线（*，压线，t）∨（左侧的车道线（*，压线，t）∧右侧的车道线（*，车道中，t））⟹ 向右换道(t)∧¬向左换道(t)左侧的车道线（*，压线，t）∨（右侧的车道线（*，压线，t）∧左侧的车道线（*，车道中，t））⟹ 向左换道(t)∧¬向右换道(t)
4 一阶逻辑规则
在训练阶段，我们需要通过MC-SAT算法[1]学习IV中各一阶逻辑式的权重。在推理阶段，我们采用了一种基于霍夫变换的车道线检测方法和一些最朴素的跟踪和分类方法确定了左右车道线的种类以及是否压线，基于这些视觉线索，对如下谓词进行了考察:位于车道(carRelPos）、向左变道（crossingLeft/1）、向右变道（crossingRight/1）、位于紧急车道（emergencyclane/1）等。推论结果与它们的真值一起绘制在图2中。我们使用概率大于50%作为决策阈值。
图2 视频序列中的谓词推断实验结果及真值对比
真值是人工标注的。每次车道线的下端出现在图像帧的底部时认为车道开始偏离，直到其穿过图像底端中心前都标记为换道，车道位置的标注与之类似。我们验证了(正如预期的那样)在指定了所在车道位置后，换道的虚警降低了，这是由于马尔可夫网络的性质，其中位置谓词和换道谓词属于同一个概率团（Clique），从而有助于相应概率分布的推理。
为了评估我们的模型，我们使用了[2]中定义的混淆矩阵:，其中tp代表真阳性，fp代表假阳性，tn代表真阴性，fn代表假阴性。使用混淆矩阵，对于我们的每个谓词查询，我们测量了预测的准确度、灵敏度、精确度和灵敏度。准确度的计算公式为 (tp+tn) / (tp+tn+fp+fn)，其是对检测可靠性的衡量，即从预测的总数来看有多少是正确的。敏感度(或召回率)是检测到的现有真实谓词的分数，算式为 tp / (tp+fn)。精确度是对特定类别的精度的度量，本文中，我们感兴趣的是报警中非虚报的数量，即tp / (tp+fp)。灵敏度是算法将假谓词报告为否定的频率的度量，由 tn / (tn+fp) 给出。在表1中，我们给出了使用1800个帧进行推理的结果。
表1 推理结果。*号和#号表示真值数据中只有真或假造成的数据不足。
6 结论
在 本文提出了车道辅助系统概率逻辑的一种形式。结果表明，该模型在视觉线索下给出了和真值一致的输出。模型效果存在一些不足，例如 换道中 谓词的精度较低，可能是由于换道过程中临界值的设计较为粗糙。 横向车道位置(左/右) 和 紧急车道 的低灵敏度可能与视觉算法对车道线的错误分类有关。
我们模型中的推断只考虑了当前的证据，未来的工作包括通过使用事件演算[12]对动作进行推理来改进模型。进一步的研究可以利用马尔可夫条件进行推理，即利用当前和过去的证据。同时，视觉算法还有较大改进的空间。
用这个模型进行逻辑推理是有效的，但用MC-SAT算法不能达到实时的效果(大约每帧0.15秒)。将推理算法改变为信念传播可以达到每帧0.02秒，文中两种算法可以获得类似的真(假)阳性率。
参考文献：
END
联系人：唐老师
电话：021-69589116
邮箱：20666028@tongji.edu.cn
广告 
广告
编辑推荐
最新资讯
-
系统级封装（SiP）在新能源汽车领域的应用
2024-12-23 08:51
-
车载通信框架 --- 智能汽车车载通信架构浅
2024-12-23 08:40
-
全国首例！武汉车网智联公司完成智能网联测
2024-12-23 08:39
-
R54法规对商用车轮胎的要求（下）
2024-12-23 07:39
-
为攻克油冷技术难题，舍弗勒申请一项电机转
2024-12-23 07:38
广告
广告
