基于结构化的Informer模型的自动驾驶轨迹预测

编者按：准确、高效地预测周围车辆的未来轨迹对自动驾驶中的运动规划至关重要。具备长期轨迹预测能力能够为规划提供有价值的信息资源。尽管已有大量研究致力于提升长期车辆轨迹预测，但需在准确性和计算复杂度之间取得平衡。本文提出了一种结构化的Informer模型，用于实现对目标车辆的高效、准确的长期轨迹预测。具体而言，所提出的模型不仅关注交互车辆轨迹的时空特征，还结合车辆状态变化对轨迹的影响。为降低计算冗余和复杂性、提升内存利用率和预测精度，模型中引入了ProbSparse自注意力机制与注意力蒸馏机制。基于NGSIM数据集的验证表明，与现有先进模型相比，该结构化Informer模型在长期轨迹预测方面具有良好的精度和时间性能。

本文译自：

《Trajectory Prediction for Autonomous Driving based on Structural Informer Method》

文章来源：

IEEE Transactions on Automation Science and Engineering, pp. 1-12, 18. December. 2023

作者：

Chongpu Chen; Xinbo Chen; Chong Guo; Peng Hang

作者单位：

同济大学汽车学院; 吉林大学汽车学院

原文链接：

https://ieeexplore.ieee.org/document/10364872

摘要：准确、高效地预测周围车辆的未来轨迹，对于自动驾驶的运动规划至关重要。预测长期轨迹的能力为有效的运动规划提供了有价值的信息。大量的研究对长期车辆轨迹的预测做出了贡献。然而，需要注意的是，长期预测可能需要对准确性和计算复杂性之间的进行权衡。在这篇文章中，我们提出了一种结构化的Informer模型，可以实现对目标车辆的准确、高效的长期轨迹预测。具体而言，所提出的模型不仅考虑了交互车辆轨迹的时空特征，还考虑了车辆状态变化对轨迹的影响。为了降低计算冗余和复杂性，同时提高内存使用率和预测精度，采用了ProbSparse自注意机制和注意力蒸馏机制。使用NGSIM数据集对该模型进行了验证和评估，结果表明，与目前最先进的模型相比，所提出的结构化的Informer模型在TV的长期预测中取得了令人满意的精度和时间成本。

从业人员须知-本研究的动机是解决周围车辆的未来轨迹对自动驾驶汽车运动规划的影响。该模型采用了先进的深度学习模型，其优点是与现有模型相比，该网络能够实现更高的轨迹预测效率和精度。具体实现方法是利用结构化嵌入方法和网络提取目标车辆更有价值的特征，如时空特征和车辆状态特征。新型注意力机制旨在解决传统注意机制在长期预测中计算复杂度呈指数增长的问题。通过对自然驾驶数据集的验证，证实了所提模型的先进性。

关键词：自动驾驶；轨迹预测；注意力机制；Informer模型

Ⅰ 引言 

无人驾驶被认为是缓解交通拥堵、提高驾驶舒适度的高效技术[1]。目前，自动驾驶汽车(autonomous vehicles, AVs)利用传感器获得的环境信息来进行决策和规划其运动路线，以确保自动和安全驾驶[2][3]。为了保证AV始终做出正确的决策和运动规划，AV需要预测其周围目标车辆的未来轨迹。然而，在复杂的交通场景中，不同交通参与者之间的相互作用和影响，使得对其未来轨迹的预测成为一项具有挑战性的任务，随着交通参与者数量的增加，这一任务变得越来越复杂。此外，传感器误差和噪声显著降低了轨迹预测的准确性。因此，如何在复杂交通环境下准确高效地对目标车辆进行长时间序列预测仍然是AVs面临的一个巨大挑战。目前对目标车辆TV轨迹预测的研究主要集中在三种方法上:基于模型的方法、基于行为意图的方法和基于深度学习的方法[6][7][8]。基于模型的方法主要是将预测的车辆简化为动力学或运动学模型，通过考虑加速度和前轮转弯角度等输入来生成预测的轨迹。由于车辆的某些参数有时不容易获得，因此通常采用贝叶斯滤波算法，如卡尔曼滤波器[9]和切换卡尔曼滤波器[10]，与动力学模型相结合，通过估计-预测回路进行多步预测。这些方法的计算效率更高，更适合于短期预测。然而，基于模型的方法往往忽略了某些参数的影响，没有考虑复杂的驾驶操作或交通环境对车辆轨迹的影响，导致无法保证LSTF的准确性。 

基于行为意图的方法将车辆视为符合驾驶员行为倾向的个体。车辆的轨迹特征与驾驶员的行为意图相匹配。在预测车辆轨迹时，首先可以识别车辆的变道、转弯等行为意图，并且相应的轨迹预测可以针对每个意图的特征生成对应的轨迹[11][12][13]。有几项研究利用隐马尔可夫模型(HMM)[14]和支持向量机(SVM)[15]提前利用大量数据开发车辆意图识别模型。此外，采用高斯过程拟合飞行器轨迹分布[16]，通过拟合高斯过程[17][18][19]得到飞行器的预测轨迹。与基于模型的方法相比，基于行为意图的轨迹预测方法进一步将预测视界扩展了1s到2s。然而，这种方法无法考虑车辆之间的交互效应，从而降低了复杂交通场景下的轨迹预测精度。如今，更多的研究集中在使用深度学习算法进行车辆轨迹预测[20]。递归神经网络(RNN)因其适合于时间序列问题[21][22]而在车辆轨迹预测中很受欢迎。长短期记忆(LSTM)作为RNN的改进版本已经出现，具有更好的训练性能和神经网络表达，导致大量研究使用LSTM来构建车辆轨迹预测模型[23][24]。在seq-to-seq框架中，最近提出的Transformer抛弃了传统RNN网络在时间和空间上对车辆历史轨迹进行节点化的结构，并通过注意机制并行考虑时间序列之间的关系[25][26]。这种基于并行注意机制的Transformer模型极大地提高了对车辆轨迹特征的提取和理解[27]。然而，这种LSTF的并行计算机制导致计算复杂度呈指数级增长。这些提出的神经网络通常需要增加深度来达到更好的预测精度，这也增加了时间成本。 

在本文中，由于LSTF预测能力的提高，采用了Informer模型来预测TV的未来轨迹[28]。首先，考虑到车辆轨迹变化时车辆状态的显著特征，我们在Informer的最外层设计了一种车辆-状态-注意力机制。此外，TV的历史轨迹在时间和空间上被嵌入，然后一起输入到Informer中。使用ProbSparse自注意机制代替规范的自注意机制来降低时间复杂度，我们使用自注意力蒸馏机制来降低空间复杂度以接受更长的输入序列。因此，我们提出的新型网络(称为structural Informer)不仅在数据输入方面具有结构性，而且作为一种新的Transformer，其计算过程也是结构性的。本文的主要贡献如下。

1）设计了车辆-状态-注意机制，检测车辆状态的不同组成部分与未来轨迹的关联，提高轨迹预测的准确性和可解释性。 

2）通过车辆-状态-注意机制的输入具有时间嵌入性，TV与SVs之间的交互具有空间嵌入性。两者考虑到TV的时间和空间特征，并认为这是输入结构。 

3）利用ProbSparse自注意机制和自注意力蒸馏机制进行结构计算，降低了车辆轨迹长期预测的时空复杂度。 

本文其余部分组织如下:第Ⅱ节是问题描述和提出的模型。在第Ⅲ节中，使用自然驾驶数据集对提出的模型进行测试和比较。第Ⅳ节对实验结果进行了分析和讨论，第Ⅴ节对本文进行了总结。

Ⅱ 问题表述和模型提出

A.问题表述

一个典型的公路轨迹预测场景描述如图1所示，其中主车辆为配备轨迹预测模块的AV汽车。影响AV安全性的最重要因素是试图并入AV车道的相邻车辆的行为。因此，对TV未来轨迹的精确预测变得至关重要。同时，TV的轨迹同时受到SVs和AV的影响。因此，所有车辆(包括AV和SVs)的历史轨迹被视为与TV的交互轨迹。SVs结构如图1所示。SV(1)和SV(2)分别位于TV的前面和后面，SV(3)位于AV所在车道的前面。

图 1典型轨迹预测场景 

需要注意的是，当需要进行多台机器的轨迹预测时，每个TV的车辆结构可以定义为如图2所示，以实现多车轨迹预测。因此，多车轨迹预测是单车的重复工作。为了更清楚地解释，下面将以单个TV为例描述所提出的模型。假设所有车辆的实时轨迹数据都可以通过集成在AV中的传感器获得，TV是根据传感器输出的目标优先级来确定的。

图 2 车辆结构 

本文的目的是训练一个预测器在预测视界内输出TV的轨迹。考虑对于SVs和AV对TV的影响，有必要将它们的历史轨迹也纳入预测器中，因此将预测器的输入定义为：

它用来生成一系列TV的未来轨迹:

其中

表示车辆标签，0表示TV, 1表示AV, 2 ~ 4表示SV的不同位置。

表示历史轨迹的时间戳，M为输入时间范围。

表示预测轨迹的时间戳，N为预测的时间范围。

表示训练所需的车辆状态特征集。选取车辆中心轨迹坐标、、纵向车速、横向车速、纵向加速度、横向加速度作为特征集元素，标志代表车辆类别，如AV、TV和SVs。然后将t时刻所有车辆类别的特征串接在一起，形成如下式所示的特征向量序列：

如图2所示，每个特征向量对应场景中的一辆车，最后只输出包含预测轨迹的TV预测向量。如果车辆不存在，则该车辆的所有输入状态特征都设置为0。

最后，为了便于结构化的Informer的训练，对用于训练的输入历史轨迹和未来轨迹进行归一化操作。以输入轨迹为例，归一化输入序列的计算方法为(8)：

其中是序列中的最小矢量，是序列中的最大矢量。