基于结构化的Informer模型的自动驾驶轨迹预测

2024-10-09 08:06:42·  来源:同济智能汽车研究所  
 
2)ProbSparse自注意:图11给出了查询向量Q稀疏度测量过程。图中的纵轴表示查询向量的长度,横轴表示查询向量的维数,图中的点表示查询向量的值。如图11a所示,在达到稀疏之前,查询向量的分布,其中,。测量过程是不均匀的,有许多接近零的点,这导致了式(32)中许多无意义的点积运算。为了解决这个问题,本文使用的高效ProbSparse自注意机制在自注意力计算中对查询向量Q进行特征重采样,即稀疏性测量过程。图11b显示了重新采样的和,其中与相比突出了更多的特征区域,缺少了许多接近零的点,从而保留了更多的重要点,省去了点积计算中的大量冗余操作,将长短期存储器中的内存使用从改变为,提高了训练和预测的效率。

图片

a)分布; b)分布 

图 11 查询向量稀疏度测量过程 

3)多头注意力:图12描述了通过式(32)计算的多头注意力。该图展示了与历史轨迹相关的某个预测轨迹的四头注意力分布。纵轴和横轴分别表示历史轨迹和预测轨迹的节点,图中的点表示注意力值。注意力分布表明,多头注意力机制可以计算和提取预测轨迹和历史轨迹之间的联系。例如图中历史轨迹的近13点和28点附近的注意力值总是较大,说明这些点和附近的点对目标车辆未来的轨迹有着较大的影响。因此,在训练过程中,网络不断地为这些位置附近的点分配更大的权重。这种权重分配的差异表明历史轨迹的每个点与预测轨迹有不同的联系。通过提取这些连接,本文采用的多头注意力机制可以使网络更加关注历史轨迹中的特定点,从而提高预测的准确性。

图片

图 12 多头注意力分布 

例如,图中历史轨迹中的近13点和28点附近总是具有较大的关注值,这表明这些点和附近的点对TV的未来轨迹具有重大影响。因此,在训练过程中,网络会不断为这些位置附近的点分配更大的权重。权重分配的这种差异意味着历史轨迹的每个点与预测轨迹具有不同的连接。通过提取这种连接,本文采用的多头注意机制可以使网络更多地关注历史轨迹中的特定点,从而提高预测的准确性。

B.轨迹预测精度分析

表II和III分别列出了结构化的Informer模型和参考模型的FPE和APE值。如在LSTF过程中观察到的,预测精度随着预测时间的增加而劣化,这由最终仿真结果证实。然而,与参考模型相比,所提出的结构化Informer模型表现出更优越的性能。纵向和横向FPE以及APE在每个预测时间都达到最小值。即使在第5秒时,结构化Informer模型的纵向和横向FPE分别为2.93%和2.33%,而纵向和横向APE分别为1.39%和1.21%。结构化Informer模型在网络结构方面增强了Transformer。图13可视化了Informer和Transformer下随机选择的四辆车的完整轨迹的预测比较。如图所示,通过对结构化Informer在预测精度上与Transformer的比较,验证了这种改进的有效性。此外,所提出的结构化Informer模型在预测精度方面显着优于传统的基于LSTM的模型。

图片

图 13 轨迹预测可视化 

分享到:
 
反对 0 举报 0 收藏 0 评论 0
沪ICP备11026917号-25