自动驾驶车辆的系统架构

图21  道路建模

(2)一种使用卷积神经网络（CNN）来获得路段。道路分割的补充任务是从顶视图或前向图像检测车道。使用具有数百万可训练权重的神经网络来检测道路，该网络查看的上下文比之前学习任务时使用的上下文大得多。该网络使用消费级GPU对大量数据进行训练。并且通过使用最近开发的无监督学习方法初始化特征检测器以及利用输出标签的局部空间相关性，可以显著提高预测性能。

(3)一种使用地面栅格地图的方法，结合车辆里程计、GPS和基于传感器的道路模型识别，可获得的位置的精确度可以达到厘米级，如下图22所示。一旦定位在地图中，包含在地图中的先验信息使驾驶策略能够做出关于变道机动和导航的决策，其中一些仅使用基于传感器的道路模型识别方法是不可能的。此外，基于地图的方法增加了鲁棒性和前瞻性，这两个都是考虑到HAD的需求所必需的，因为HAD的驱动程序可能不在循环中。

图22  多传感器融合的地图描述方法

地图主要由两层组成：语义层、几何层和定位层。语义或几何层包含车道模型几何结构和高级语义信息，如车道连通性，这是路径规划和决策所需的。定位层包含在地图内定位车辆所需的数据。在本项目中，定位层主要由车道标记和道路边界数据组成，这些数据可由传感器检测，然后与GPS和车辆里程计一起用于将车辆匹配到地图上。

使用先验地图，并且用卡尔曼滤波器估计地图中车辆的位置。使用GPS数据和检测到的地标（例如车道标记）更新过滤器，以便持续更新定位假设。车辆的位置也可以使用车辆控制所需的较高速率的里程计数据进行预测。

(4)一种使用LIDAR数据来检测车道标记和相机图像，方法中对LiDAR的每个垂直层分别应用了二次拟合。由于车道倾向于平缓的曲线，因此在道路横截面中使用二次方程进行曲线拟合。检测车道时，用于车道标记的独特油漆比路面反射激光的效果要好得多。因此该过程通过仅在视觉系统的脆弱情况下（例如，背光、低光）运行基于摄像头的车道检测技术来减少误报。然后将确认的基于摄像机的车道再次投影到地面上并转换为3D坐标系。车道检测过程的结果如图23所示。

图23  车道检测

(5)一种使用深度神经网络（DNN）来推断自动车辆IARA水平信号差或缺乏的车道的位置和相关属性，如下图24所示。DNN执行将LIDAR的remission栅格地图分段到道路栅格地图，将代码（从1到16）分配到属于车道的地图单元格。这些代码用来表示单元内车道中心的相对距离以及车道标记的类型。通过使用数十公里标记道路车道的数据集来训练DNN，使其达到足以实现IARA实际自动驾驶的准确性。道路分割不直接提供道路地图，但是道路分割定义地图单元是否是道路的一部分。

图24  深度神经网络建图

（6）一种从航空图像自动构建精确道路网络地图的新方法。RoadTracer（航空影像自动生成路网）使用基于CNN的决策函数指导的迭代搜索过程，直接从CNN的输出，导出道路网络图。该方法试图直接从CNN产生路线图，而不是依赖于中间图像表示。并且该方法使用迭代得到的图构建过程，一次添加一个单独的路段，并使用CNN决定要添加的下一个段。

1.4移动障碍物检测与跟踪

移动物体跟踪（MOT）子系统（也称为检测和跟踪多个物体）负责检测和跟踪自动驾驶汽车周围环境中移动障碍物的姿态。该子系统对于自动驾驶车辆做出决策并避免与潜在移动物体（例如，其他车辆和行人）碰撞至关重要。移动障碍物随时间的位置通常是根据测距传感器（如激光雷达和雷达）或立体相机捕获的数据来估计的。来自单眼相机的图像有助于提供丰富的外观信息，以确定移动障碍物类型。为了应对传感器测量的不确定性，采用贝叶斯滤波器（例如卡尔曼滤波器和粒子滤波器）进行状态预测，下面是各种移动障碍物的检测与跟踪方法：

1.4.1基于物理的运动模型（Physics-based motion models）：

基于物理的运动预测模型认为车辆的运动只取决于物理定律，将车辆表示为受物理定律支配的动态实体。使用一些控制输入（例如转向、加速度）、汽车特性（例如重量）和外部条件（例如路面的摩擦系数）与车辆状态的演变（例如位置、航向、速度）之间的关系，对车辆运动轨迹进行预测。在这种基于物理的车辆运动模型方面已经做了大量的工作，它们仍然是道路安全背景下用于轨迹预测和碰撞风险估计的最常用的运动模型。这些模型或多或少复杂，取决于车辆动力学和运动学的表示的精细程度、如何处理不确定性、是否考虑了道路的几何形状等。

1）预测车辆未来轨迹的一种简单方法是将车辆动力学模型（车辆二，三自由度动力学模型等）或运动学模型（CV，CA，CTRV，CTRA等）应用于车辆的当前状态，假设当前状态完全已知，且选择的动力学模型或运动学模型可以将车辆的运动表示出来，然后得到预测的运动，如下图25所示。

图25  轨迹预测

2）基于贝叶斯滤波器的车辆未来轨迹预测最流行的是基于卡尔曼滤波器的车辆轨迹预测，如下图26所示，在预测步骤中，将时间t处的估计状态馈送到车辆动力学模型或运动学模型，从而得到时间t+1的预测状态，该预测状态采用高斯分布的形式。在更新步骤中，将时间t+1处的传感器测量值与预测状态组合形成时间t+1的估计状态，该状态的估计也服从高斯分布的。循环预测和更新，可以得到每个未来的时间步的车辆状态的平均值和协方差矩阵，该矩阵可以转换为具有相关不确定性的平均轨迹。而该预测方式因模型的不准确，造成轨迹预测较大的误差，因此出现了切换卡尔曼滤波器（SKF），他们依靠一组卡尔曼滤波器来表示车辆的可能演化的动力学模型或 运动学模型，并在它们之间切换。SKF的另一种选择是根据具体情况使用启发式在不同的运动学模型之间切换。

图26  基于贝叶斯滤波器的轨迹预测

3）基于蒙特卡洛的车辆未来轨迹预测在一般情况下，即当没有对模型的线性或不确定性的高斯性做出假设时，预测状态分布的解析表达式通常是未知的，而蒙特卡罗方法提供了近似这种分布的工具。从模型的输入变量中随机采样，以生成潜在的未来轨迹。为了考虑道路拓扑，将权重应用于基于卡尔曼滤波生成的轨迹预测中，然后得到预测的轨迹，如下图27所示。

图27  基于蒙特卡洛的轨迹预测

局限性：由于它们仅依赖于运动的低级别属性（动力学和运动学属性），基于物理的运动模型仅限于短期（小于一秒）运动预测。通常，他们无法预测由执行特定功能（例如减速、匀速转弯，然后加速以在交叉路口转弯）引起的汽车运动变化，或由外部因素引起的变化（例如由于前方车辆减速）。

1.4.2基于动机的运动模型（Maneuver-based motion models）：

基于机动的运动模型将车辆表示为独立的机动实体，即它们假设车辆在道路网络上的运动对应于独立于其他车辆执行的一系列机动。车辆的未来运动取决于驾驶员的意图。将车辆表示为独立的机动实体，即它们假设车辆在路网上的运动对应于独立于其他车辆执行的一系列驾驶员打算执行的操作。如果能够识别驾驶员的机动意图，则可以假设车辆的未来运动将与该机动相匹配。

1.4.2.1基于原型轨迹的运动模型

基于原型轨迹的运动模型的主要思想是将道路网络上车辆的轨迹可以被分组为有限的一组簇，每簇对应于一种典型的运动模式，如下图28所示。运动模式使用原型轨迹表示，原型轨迹是在训练阶段从数据中学习的。之后，通过找到最可能的运动模式并将原型轨迹用作未来运动的模型，可以在给定部分轨迹的情况下在线进行预测。因为道路网络是一个结构化的环境，通常假设可以预先识别运动模式（例如，可以通过识别给定位置处的所有可能机动，从数字地图中提取运动模式）。

图28  轨迹簇示意图

可以通过计算样本轨迹的平均值和标准偏差来导出运动模式的随机表示。

（1）一种新的基于聚类的技术，该技术使用成对聚类来学习典型的运动模式。文中引入了一个相异性度量，以允许使用任何可以在相异度矩阵上操作的聚类算法。因此，我们获得了对应于不同运动模式的多个簇。然后，我们计算每个簇的平均值，我们将其进一步用于预测部分观测轨迹的运动。

（2）一种基于组合轨迹分类和粒子滤波框架的长期预测方法。轨迹由径向基函数（RBF）分类器进行分类，该分类器具有能够处理任意非均匀长度的轨迹的结构。作为轨迹之间相似性的度量，我们引入了基于四元数的旋转不变最长公共子序列（QRLCS）度量。粒子过滤器框架同时跟踪和评估大量运动假设，其中RBF分类器估计的类特定概率用作粒子过滤器假设的先验概率。假设用均值移位技术进行聚类，并分配一个似然值。

（3）一种可以增量学习运动模式并与预测并行的方法。基于对隐马尔可夫模型的一种新扩展——称为增长隐马尔可夫模型。

高斯过程（GP）非常适合于表示道路交通背景下的运动模式。GP可以看作是高斯概率分布的推广。他们将过程建模为函数上的高斯分布。当将其应用于车辆轨迹时，假设学习数据集中的轨迹是高斯过程的样本函数。因此，学习包括在这些函数上拟合高斯分布。GP的主要优点是其对观测轨迹中的噪声的鲁棒性（与上述方法相比），和其以一致和概率的方式表示运动模式执行中的变化的能力。

总结：

首先，先得到原型轨迹，从车辆执行的部分轨迹开始，通过将其与学习到的运动模式进行比较，选择最可能的运动模式，并使用原型轨迹作为模型进行预测。然后需要定义度量来测量部分轨迹到运动模式的距离。

当运动模式由高斯过程表示时，通过对轨迹的可能未来进行积分，将距离计算为部分轨迹对应于GP的概率。

当运动模式由有限组原型轨迹表示时，部分轨迹到运动模式的距离通过其与原型轨迹的相似性来测量。已经定义了许多度量来测量两条轨迹之间的相似性，包括轨迹点之间的平均欧几里得距离、修正的豪斯多夫（the modified Hausdorff）、最长公共子序列（LCS）及其平移和旋转不变版本——基于四元数的旋转不变LCS。计算到每个运动模式的距离后预测未来运动的最简单解决方案是选择最可能的运动模式，并将其用作唯一模型。

考虑运动模式的混合：计算不同运动模式上的概率分布，然后将不同运动模型组合（加权）为一个，或者生成一组具有相关权重的潜在未来轨迹。最近提出的另一种解决方案是使用专家分层混合（HME），其优点是可以处理分类变量（例如转向灯、道路布局类别）

局限性：在很长一段时间里，原型轨迹的主要限制是它们对时间的严格确定性表示。事实上，当使用一组有限的轨迹来表示运动模式时，需要大量的原型来模拟运动模式执行过程中的巨大变化。例如，为了识别涉及停车线等待时间的机动，必须使用硬阈值来识别等待间隔，并在计算两条轨迹之间的距离时忽略它们。对于此类模型来说，处理更细微的速度变化，如交通拥挤引起的速度变化仍然是一个问题。在一定程度上，高斯过程的引入通过允许运动模式的时间无关表示来解决了这个问题。然而，其也有其他限制。除了繁重的计算负担外，它们还缺乏考虑车辆物理限制的能力，因此可能生成不现实的样本轨迹。使用原型轨迹时的另一个困难是它们不适应不同的道路布局，特别是适用于道路交叉口时。因为每个运动模型都是针对特定的交叉几何和进行训练的，因此它只适用于和其类似的交叉口。

1.4.2.2基于机动意图估计的运动模型

匹配驾驶员的机动意图（例如，在停车线等待、跟随另一辆车、执行左转），然后预测连续的物理状态，以便它们对应于所识别机动的可能执行。与轨迹原型相比，一个主要优点是不需要将部分轨迹与先前观察到的轨迹相匹配。相反，提取更高级别的特征并用于识别机动，这使得将学习的模型推广到任意布局更容易.

许多状态可用于对驾驶员的机动意图的估计，例如车辆的物理状态（位置、速度、航向、加速度、横摆率、转向信号等）、关于道路网络的信息（道路的几何结构和拓扑结构、速度限制、交通规则等）、驾驶员行为（头部移动、驾驶风格等）。机动意图估计已经被许多工作所研究。本调查侧重于道路交叉口的机动意图估计，但本文介绍的大多数方法可应用于其他交通情况。

环境和试探法可用于确定在一段时间后可能以确定性的方式执行哪些功能。对于在更复杂的场景中对机动进行分类，判别式的学习算法非常流行，例如多层感知机（MLP）、Logistic回归、关联向量机（RVM）或支持向量机（SVM）。同样流行的替代方法是将每个动作分解为一系列连续的事件，并使用隐马尔可夫模型（HMM）表示这一系列事件。不同事件之间的转移概率可以从数据以及观测模型（即不可观测事件和可用观测之间的关系）中获知。对于新的观测序列，通过比较每个HMM的观测可能性来估计机动意图。

图29  道路交叉口交互行为意图识别常用方法的对比