广告
基于机动LSTM的周围车辆多模态轨迹预测
2018-12-02 17:15:44· 来源：智车科技 作者：Nachiket Deo
摘要：为了安全有效地通过复杂的交通场景，自动驾驶车辆需要有能力预测周围车辆的未来运动。多个相互作用的智能体、驾驶员行为的多模性以及任务中固有的不确定性
摘要：为了安全有效地通过复杂的交通场景，自动驾驶车辆需要有能力预测周围车辆的未来运动。多个相互作用的智能体、驾驶员行为的多模性以及任务中固有的不确定性使得周围车辆的运动预测成为一个具有挑战性的问题。
本文提出了一种基于LSTM模型的高速公路周边车辆交互感知运动预测模型。我们的模型为车辆进行机动分配置信值，并在此基础上输出未来运动的多模态分布。我们比较了我们的方法与现有技术的车辆运动预测的公开有用的NGSIM US-101和I-80数据集。我们的结果表明，在预测误差的均方根值方面有了改进。我们还对所提出的模型的组成部分进行了分析，并分析了该模型在复杂交通场景中所作的预测。
作者：Nachiket Deo and Mohan M. Trivedi
原文题目：Multi-Modal Trajectory Prediction of Surrounding Vehicles with Maneuver based LSTMs
Ⅰ介绍
在复杂交通中部署的自动驾驶车辆需要平衡两个因素：车内乘客和周围人的安全，以及在不阻碍交通的情况下高效运行。车辆需要有自我决策的能力，例如，决定何时改变车道，通过没有信号的交叉口，或超过另一辆车，这就要求自动驾驶系统对周围车辆的未来运动有一定的推理能力。这可以在现有的战术路径规划算法[30]-[32]中看到，所有这些算法都依赖于对周围车辆未来轨迹的可靠估计。
许多方法使用运动模型来预测车辆轨迹[26]-[29]。然而，对于更长的预测范围，运动模型可能是不可靠的，因为由于驾驶员所作的决定，车辆的轨迹往往是高度非线性的。这可以通过数据驱动的轨道预测方法[5]、[10]-[12]来解决。这些方法通过最小化训练数据集中预测轨迹与真实轨迹之间的误差，将轨迹预测问题转化为一个回归问题。基于回归的方法的一个陷阱是驾驶员行为固有的多形态。在相同的交通环境下，人类司机可以做出许多决定之一。例如，一个司机以更快的速度接近他们的领头车辆，或者减速，或者改变车道、加速超车。基于回归的方法倾向于输出这些多重可能性的平均值，因为平均预测可以最小化回归误差。然而，平均预测可能不是一个好的预测。例如，在上面描述的示例场景中，平均预测将保持在没有减速的车道上。因此，我们需要弹道预测模型，以解决预测的多模态性质。
图1.在复杂交通中部署的自动驾驶车辆(如图中所示)，需要有能力预测周围车辆的未来运动。我们提出的LSTM模型允许基于机动类对周围车辆轨迹进行非线性和多模态预测。它还为每个模式分配了相应概率，并在每个模式周围输出了预测的不确定性。
本文将机动用于多模态轨迹预测，通过学习一个为不同机动类分配概率的模型，并为每个机动类输出机动的具体预测。随着长时记忆(LSTM)网络在序列学习和生成任务中非线性时间依赖性建模的成功[5]、[23]、[24]，我们提出了一种适用于高速公路交通情况下车辆机动和轨迹预测的LSTM模型。它使用车辆及其周围车辆的轨迹历史以及高速公路的车道结构作为输入。它给出了六个机动类的置信度值，并在此基础上预测了未来运动的多模态分布。我们使用NGSIM US-101[2]和I-80[3]在加利福尼亚多车道高速公路上收集的真实车辆轨迹数据集来训练和评估我们的模型。
Ⅱ.相关研究
机动模型：在先进的驾驶辅助系统和自然驾驶研究[7]-[9]，[19]，[20]中，车辆运动被广泛地分为机动类。在[1]，[6]中对基于机动的模型进行了全面的综述。特别令人感兴趣的是使用公认的机动来更好地预测未来的轨道[10]、[11]、[13]-[16]。这些方法通常包含一个机动识别模块，用于对机动和机动特定轨迹预测模块进行分类。机动识别模块是一种典型的分类器，它利用车辆过去的位置和运动状态以及背景线索作为特征。采用启发式分类器[13]、贝叶斯网络[14]、隐马尔可夫模型[10]、[11]、随机森林分类器[16]和递归神经网络进行机动识别。
弹道预测模块在给定机动级的情况下输出车辆的未来位置。将多项式拟合[13]、机动运动模型[14]、高斯过程[11]、[15]、高斯混合模型[10]用于弹道预测。许多方法[10]、[16]-[18]也考虑到车辆之间的相互作用，以分配机动类别和预测轨迹。在[10]，[18]中使用了基于车辆相对配置的手工设计成本函数来对周围的所有车辆进行最优机动分配。然而，这些方法可以受到成本函数设计得有多好的限制。其他工作[16]，[17]隐式学习车辆相互作用的轨道数据的实际交通。在这里，我们采用了第二种方法，因为有大量的实际高速公路交通数据集[2]，[3]。
运动预测的递归网络：由于运动预测可以看作是一种序列分类或序列生成任务，近年来提出了许多基于LSTM的机动分类和轨迹预测方法。Khosroshahi等人[19]和Phillips等人[20]使用LSTM对交叉路口的车辆机动进行分类。Kim等人[21]提出了一种LSTM，用于预测车辆在未来使用网格中的间隔为0.5s、1s和2s的位置。与此方法相反，我们的模型输出车辆未来位置的连续、多模态概率分布，预测范围为5s。Alahi等人[5]提出了社交LSTM，它通过使用社会集合层来联合建模和预测密集人群中行人的运动。然而，高速公路上的车辆运动比人群中的行人有更多的结构，可以利用这些结构来做出更好的预测。具体而言，车辆的相对位置可以用车道结构和行驶方向简洁地描述，车辆的运动可以被合并为机动类，其知识可以改善运动预测。Lee等人[22]使用基于RNN编解码器的条件变分自动编码器(CVAE)进行轨迹预测。采样的CVAE允许多模态预测。相反，我们的模型输出多模态分布本身。最后，Kuefler等人[4]使用基于门控递归单元(GRU)的策略，利用行为克隆和生成对抗性模仿学习范式，生成车辆运动模型的加速度和偏航率值。我们将我们的弹道预测结果与文献[4]中的结果进行了比较。
III.问题的制定
我们用运动预测来估计车辆未来位置的概率分布，这种概率分布取决于车辆的轨迹历史和周围车辆在每一时刻的行驶轨迹。
图2.顶部：用于轨迹预测的协调系统。被预测的车辆以黑色显示，而考虑到的相邻车辆则以蓝色表示。底部：横向和纵向机动等级
A.参考框架
我们使用一个固定的参照系，将原点固定在时间t上，如图2所示。y轴指向高速公路的运动方向，x轴是垂直于它的方向。这使得我们的模型独立于车辆轨迹的获取，特别是可以应用于自动车辆上的车载传感器。这也使得模型不依赖于道路的曲率，只要有可用的车载车道估计算法，就可以在高速公路上的任何地方应用。
B.投入和产出
我们模型的输入是轨道历史的张量
其中
如图2所示，x和y在被预测车辆的时间t和围绕着它的六辆车之间是协调的。我们选择这六辆车，因为它们对车辆的运动影响最大。
模型的输出是概率分布
其中
是预测车辆的未来坐标。
图3.提出的模型：轨迹编码器LSTM在上下文向量中对被预测车辆及其相邻车辆的航迹和相对位置进行编码。上下文向量附加了横向和纵向机动类的机动编码。解码器lstm在每个时间步长生成车辆位置的机动特定未来分布，机动分类分支分配机动概率。
C.概率运动预测
我们的模型估计了条件分布P(Y | X)。为了使模型产生多模态分布，我们将其扩展为机动mi，并给出：
其中
是未来每个时间步长的二元高斯分布的参数，对应于未来位置的均值和方差。
D.机动类别
我们考虑三个横向和两个纵向机动类别，如图2所示。横向机动包括左、右车道的改变和保持车道的机动。由于车道变换涉及准备和稳定，我们将车辆定义为车道变换状态，在实际交叉时间内保持±4s，纵向机动分为正常驾驶和制动。当车辆在预测时的平均速度小于其速度的0.8倍时，我们将其定义为执行制动机动。我们用这种方式来定义我们的机动，因为这些机动类是由车辆通过转弯信号和刹车灯相互传递的，这将成为今后工作中的一个线索。
IV.模型
A.LSTM编码器-解码器
我们提出的模型如图3所示。我们使用编解码框架[23]。轨迹编码器LSTM以预测车辆及其六辆相邻车辆的过去位置的帧为输入。编码器LSTM的隐藏状态向量在每个时间步骤中根据隐藏状态更新。我们提出的模型如图3所示。我们使用编解码框架[23]。轨迹编码器LSTM以预测车辆及其六辆相邻车辆的过去位置的帧为输入。编码器LSTM的隐藏状态向量在每个时间步骤根据前一时间步骤的隐藏状态和当前时间步骤中车辆位置的输入帧进行更新。轨道编码器LSTM的最终状态可以用来编码关于这7辆车的轨道历史和相对位置的信息。然后，解码器LSTM使用该上下文向量作为输入。在每一时间步骤中，对于未来的 tf 帧，基于编码的上下文向量和LSTM状态在前一时刻更新解码器LSTM状态。解码器在每一时间步输出，一个5-D矢量Θ(t)对应于二元高斯分布的参数，给出预测车辆的未来位置在当时瞬间的分布，取决于轨迹历史。
B.机动相关预测
上一节描述的编解码模型输出单模态机动无关的轨迹分布.为了使解码器产生一个基于六个机动类的多模态轨迹分布，我们在编码器上下文向量中附加了对应于横向机动类的一个热向量和对应于纵向机动类的一个热向量。增加的机动上下文允许解码器LSTM生成方程（1）中给出的机动比概率分布
。为了得到每个机动类给定轨迹历史的条件概率，我们对图3所示模型的机动分类分支进行了训练。 机动分类LSTM与轨迹编码器LSTM具有相同的输入。它有两个输出的Softmax层来预测横向和纵向机动类的概率。在给定航迹历史的情况下，假定横向和纵向机动类条件独立，则通过取相应的横向和纵向机动概率的乘积，得到
。
。为了得到每个机动类给定轨迹历史的条件概率，我们对图3所示模型的机动分类分支进行了训练。 机动分类LSTM与轨迹编码器LSTM具有相同的输入。它有两个输出的Softmax层来预测横向和纵向机动类的概率。在给定航迹历史的情况下，假定横向和纵向机动类条件独立，则通过取相应的横向和纵向机动概率的乘积，得到。C.实施细节
我们使用128个单元的LSTMS作为编码器、解码器和机动分类分支。输入向量X(T)在输入到LSTM层之前，使用64个单元完全连接的层嵌入，该层具有α=0.1的泄漏关系激活。虽然弹道编解码和机动分类模型在测试过程中是同步使用的，但我们分别对模型进行了训练。轨迹编解码器被训练成最小的负对数似然损失的地面真相，未来位置的韦希克勒斯预测的轨迹分布。上下文向量为每个训练样本附加机动类的地面真值。对机动分类模型进行训练，使预测和地面真实、横向和纵向机动类别的交叉熵损失之和最小。这两个模型都是使用ADAM[25]训练的，学习率为0.001。这些模型是用Keras[33]实现的。
V.实验评价
A.数据集
在45分钟的时间内以10赫兹捕捉到的真实高速公路交通轨迹。每个数据集包含15分钟的轻度、中度和拥挤交通状况片段。数据集提供了投射到本地协调系统的车辆的协调，如第IIIA节所定义的。我们将数据集分为训练集和测试集。测试集中使用了US-101和I-80数据集的三个子集中每个子集的第四条轨迹。我们将轨迹分割成8s的段，其中我们使用了3s的轨迹历史和一个5秒的预测视界。在数据集采样率为10 Hz的情况下，对这8s段进行采样。然而，为了降低模型的复杂度，我们在将每个片段放入LSTM之前，将其降至2倍。
图4.数据集：用于收集用于评估的NGSIMUS-101[2]和NGSIMI-80[3]数据集的站点的布局和自上而下的视图。这些数据集由多车道高速公路上的车辆在不同交通密度下的实际轨迹组成，这些高速公路上有进出坡道。
B.模型比较
我们用预测误差的均方根值在5秒内报告结果，就像在[4]中所做的那样。对以下模型进行了比较：
- 恒速(CV)：我们使用等速卡尔曼滤波器作为最简单的基线
- C-VGMM VIM：我们使用了基于机动的变分高斯混合模型，并以[10]中描述的基于马尔可夫随机场的车辆相互作用模型作为我们的第二基线。我们修改模型以使用本工作中描述的机动类，以便进行公平的比较。
- Gail-GRU：我们考虑了[4]中描述的基于生成性对抗性模仿学习的GRU模型。由于在这两部作品中都使用了相同的数据集，所以我们使用了作者在原始文章中报告的结果。
- 机动-LSTM(M-LSTM)：最后考虑了本文提出的模型。由于每条基线都进行单峰预测，为了进行公平的比较，我们使用了我们所提出的模型所给出的最大概率与机动相对应的预测。
C.结果
表一显示了被比较的模型的预测误差的均方根值。我们注意到，文[4]提出的M-LSTM模型和Gail模型明显优于[10]的CV基线模型和C-VGMM vim模型，这表明了递归神经网络在汽车非线性运动建模中的优越性。特别是，对于较长的预测间隔，RMS值的减少更加明显。我们还注意到，与Gail模型相比，M-LSTM对所有预测区间的预测误差都较小。从误差值的趋势来看，随着预测层数的增加，Gail模型似乎正在赶上M-LSTM模型。然而，我们需要考虑这样一个事实：[4]中的Gail轨迹是通过一次运行一辆车来生成的，而周围的所有车辆都是根据NGSIM数据集的实际情况移动的。因此，该模型能够获得预测视界内相邻车辆的真实轨迹。
图5.模型各部件的烧蚀性分析：预测误差的均方根值表明了在轨道编码器中对相邻车辆的航迹进行建模和使用机动识别模型的意义。
D.烧蚀分析
我们对模型的组成进行了分析，以研究它们对运动预测的相对意义。特别是，我们试图检验使用相邻车辆的轨迹历史和使用机动分类分支的意义。我们对下列系统设置的预测误差的均方根值进行了比较：
- Vanilla LSTM(V-LSTM)：这只是在编码器LSTM中使用预测车辆的跟踪历史
- 环绕式LSTM(S-LSTM)：这还考虑了编码器LSTM中相邻的车辆跟踪历史
- 环绕式LSTM机动识别(M-LSTM)：这考虑了本文提出的完整模型
- 用地面真实机动(M-LSTM(GT)包围LSTM：最后，我们还考虑了具有机动类地面真值的M-LSTM，用改进的机动识别来衡量弹道预测中的潜在改进。
图6.预测分析：(A)多模态预测；(B)领先车辆的影响；(C)相邻车辆的影响
图5示出所考虑的4个系统设置的预测误差的rms值。我们观察到S-LSTM模型优于Vanilla LSTM模型，表明相邻车辆的运动是预测车辆未来运动的重要线索。M-LSTM进一步提高了预测精度，说明机动分类在运动预测之前是有用的。随着预测间隔的延长，这两种效应似乎变得更加明显。此外，我们还从M-LSTM(GT)的RMSE值中注意到，如果机动分类更准确，还可以进一步改进。
E.对预测的定性分析
在本节中，我们定性地分析了我们的模型所做的预测，以了解其在各种流量配置中的行为。图6显示了六种不同的流量场景。每个图显示了过去3秒的轨迹历史图，以及每个机动类在接下来的5秒内的平均预测轨迹。预测轨迹图的厚度与分配给每个机动类的概率成正比。另外，每个图都显示了完整预测分布的热图。
图5(A)示出了由该模型为即将改变车道的车辆所作的多模态预测的性质。预测的分布有一个对应于各自车道变化的模式，以及保持车道的策略。模型对车道的变化越来越有信心，进一步进入机动状态。我们注意到，该模型预测了车辆将合并到目标车道上进行车道转换操作，说明了LSTM能够对车辆运动的非线性特性进行建模。
图5(B)示出了领先车辆对模型所作预测的影响。第一个例子展示了一个自由流动交通的例子，其中预测的车辆和领先的车辆以大致相同的速度行驶。在第二个例子中，我们从跟踪历史中注意到，与预测的车辆相比，领先车辆正在减速。我们看到模型预测车辆刹车，尽管它的当前运动表明并非如此。相反，在第三个例子中，我们看到被预测的车辆几乎是静止的，而领先的车辆开始移动。该模型预测车辆将加速行驶，就像在停车和通行时所预期的那样。
图5(C)显示了相邻车道上的车辆对模型预测的影响。这三个例子显示了同样的场景，间隔0.5秒，车辆被预测在最右边的车道上。我们注意到，在所有三种情况下，模型给出了车辆保持车道的高概率。然而，它也给车辆改变左车道的可能性很小。文诺特认为，图中所示的圆圈车辆对左车道变化的概率有影响。当环形车辆远远落后时，模型给出了较高的换道概率。当车辆就在被预测的车辆旁边时，换车道的概率就会下降。当车辆通过，车道再次打开时，改变车道的概率就会增加。
Ⅵ结论
本文提出了一种新的基于LSTM的车辆运动预测交互感知模型，该模型能够基于机动类进行多模态轨迹预测。与现有的两种方法相比，该模型对两组真实高速公路车辆轨迹的预测误差较小，证明了该方法的可行性。此外，该系统的烧蚀性分析表明，对相邻车辆的运动进行建模对于预测某一给定车辆的未来运动，以及检测和开发车辆的常见机动对未来的运动预测具有重要意义。
广告 
广告
最新资讯
-
荷兰Zepp氢燃料电池卡车-Europa
2024-12-22 10:13
-
NCACFE -车队油耗经济性报告（2024版）
2024-12-22 10:11
-
R54法规对商用车轮胎的要求（上）
2024-12-22 10:10
-
蔚来ET9数字架构解析
2024-12-22 09:53
-
4G/5G网络新时代的高效紧急呼叫系统NG-eCal
2024-12-20 22:33
广告
广告
