从感知、规划来看特斯拉 FSD自动驾驶为何全球瑶瑶领先

2024-10-13 07:25:13·  来源:智驾社  
 
Occupancy Network不仅优化了HydraNets,通过直接在向量空间产生体积占用,对长尾障碍物进行了更好的表达。除了体素网格,它还能生成具有3D几何形状和语义信息的可行驶表面(driverable surface),这对于在多山或弯曲道路上自动驾驶车辆的控制能力至关重要。决策层可以利用这些信息,更准确地进行加速、减速等运动决策。此外,Occupancy Network引入了Spatial Attention机制,通过RegNet和BiFPN从多相机获取特征,然后使用带有3D空间位置信息的Spatial Query,基于Spatial Attention注意力机制,实现对多个相机的3D空间位置信息和2D图像的信息融合。模型从中学习对应的特征关系,最终输出高维的空间特征。在特征融合后,基于反卷积(Deconvolution)的解码器会解码出每个3D空间位置的占用情况和占用流输出,形成固定大小的体素网络。模型还额外设计了一个隐式Queryable MLP Decoder,输入任意坐标值(x,y,z),可解码出该空间位置的信息,即Occupancy,Semantics,Flow,打破了模型分辨率的限制。

图片Occupancy Network 能够生成可行使表面图片

特斯拉的Lanes Network是为了提供自动驾驶车辆在关键车道拓扑信息方面的需求,从而优化轨迹规划和车道变换决策。最初,特斯拉将车道检测问题建模为图像空间内的即时分割任务,这种方法适用于高速公路等高度结构化的道路,但并不适用于交叉路口等复杂多变的道路场景。因此,特斯拉开始运用神经网络来预测车道之间的连接性。车道检测神经网络由三部分组成,第一部分包括卷积层、注意力层与其他神经网络层,对车辆摄像头采集的视频信息进行编码,产生丰富的视觉表示。接着,特斯拉利用包含交叉口内车道拓扑、各条道路上的车道数等信息的低精度地图,对车道检测神经网络生成的视觉表示进行增强,输出密集张量信息,并最终转化为车道及其连接性的信息。

此外,特斯拉采用了离散化处理加上样条系数回归的方法来进行车道线预测。首先将现实世界进行离散化处理,引入粗略划分的网格,然后对可能位置的热力图进行预测,锁定可能性最大的位置,并在此基础上对预测进行细化,以得到精确的点位。不同点位的标记类型不同,新车道的起点为起始标记,其他点为延续标记,通过回归样条系数来获取两点间的精确几何形状。之后,不断重复这一过程,直到得到车道图中所有标记。这种方法不仅提高了车道检测的准确性,还增强了自动驾驶车辆在复杂地形上的控制能力,使得决策层能够更好地进行加速、减速等运动决策。

图片Lanes Network 旨在生成车道与连接信息      特斯拉采用低精度地图对视觉表示进行增强

特斯拉在车道线预测方面,采用了一种结合离散化处理和样条系数回归的创新方法。这一过程首先涉及到将实际道路环境进行数字化转换,通过创建一个初步的网格来近似现实世界。然后,利用热力图预测技术来识别车道线最可能出现的位置,挑选出最有可能的候选位置。在此基础上,特斯拉进一步细化预测结果,以达到精确定位车道线的目的。

在这一方法中,不同的点位根据其在车道线中的作用被赋予不同的标记。例如,新车道线的起始点会被标记为起点,而车道线上的其他点则被标记为延续点。通过样条系数回归分析,特斯拉能够计算出车道线两点之间的精确几何形状。这个过程会不断重复,直到覆盖车道图中所有的关键点,从而构建出一个完整的车道模型。这种方法不仅提高了车道检测的精确度,还有助于提升自动驾驶系统在复杂道路条件下的导航能力。

图片

Lanes Network 工作原理

特斯拉的自动驾驶系统通过其神经网络的设计,能够高效地处理关键信息,以快速响应道路上的动态变化。这一系统的工作流程大致可分为两个主要步骤:首先,神经网络迅速定位3D空间中的各个代理,即识别出车辆或其它物体的精确位置;其次,系统从这些位置提取出关键数据,并将它们与车辆的速度、行进方向等信息结合起来,进行进一步的分析和处理。

这种设计允许神经网络采用稀疏化处理策略,专注于那些对于决策最为关键的信息区域,从而以较低的延迟实现高效的性能。这样的处理方式不仅提升了系统对周围物体行为的预测能力,还确保了自动驾驶系统能够在理解环境位置和运动状态的同时,对这些物体的语义信息进行深入预测。这意味着系统不仅能“看到”周围的物体,还能理解它们的含义以及可能的行动路径,从而在保障行车安全的基础上,实现更加人性化的驾驶操作。

图片稀疏化处理可使神经网络专注于计算最重要的区域

特斯拉的自动驾驶规划系统通过采用交互搜索框架,能够快速从多种可能的方案中选择出最优的行驶路径。这套系统的设计考虑了自动驾驶中的两大挑战:非凸性和高维性。非凸性意味着存在多个可能的解决方案,但难以找到全局一致的最优解;而高维性则涉及到车辆在未来10-15秒内的行为规划,这需要考虑位置、速度、加速度等多个参数。

为了解决这些问题,特斯拉将规划问题分解为两层。首先,使用离散搜索方法来降低非凸性问题,缩小选择范围,避免陷入局部最小值。然后,对于高维问题,特斯拉采用连续优化方法,利用基于梯度的技术快速找到解决方案。这种方法的效率较高,因为它可以利用梯度信息,而不是逐点评估每个点的好坏。

此外,特斯拉的规划系统还需要解决多代理联合轨迹规划问题,即考虑自己和所有其他车辆、行人的运动轨迹,对所有可能的行驶方案进行评估,并快速选出最优行驶方案。这一评估过程通常需要在10毫秒左右完成,而在复杂场景下,如繁忙的路口,可能需要50毫秒。这种高效的规划能力使得特斯拉的自动驾驶系统能够在保证安全性的同时,实现类似人类驾驶员的驾驶操作,提高了自动驾驶的效率和舒适性。

图片

分享到:
 
反对 0 举报 0 收藏 0 评论 0
沪ICP备11026620号