基于语言模型的闭环自动驾驶系统

2023-12-14 17:06:15·  来源:汽车测试网  
 

随着人工智能的快速发展,大语言模型在自动驾驶系统中的应用备受关注。许多开创性的工作已经深入探索了利用大语言模型(LLM)来增强自动驾驶系统在开环环境中的推理能力、可解释性和整体性能的潜力。随着自动驾驶技术的不断演进,研究人员逐渐认识到使用大语言模型来处理自动驾驶系统中的场景感知和导航决策可能是一种颇具前景的方法。目前,最为常见的研究策略是将场景感知结果和导航命令通过LLM转换为文本描述,再通过LLM生成文本驾驶决策,并将其转换为可执行的控制命令。然而,这种方法存在训练难度大、数据利用率低、感知错误累积等问题。为了解决这些问题,研究人员提出了端到端的基于语言的驾驶方法,但现有方法大多数在开环环境中训练和评估,缺乏对闭环环境的考虑。


当前主流的研究策略中,LLM被用于单独处理自动驾驶系统中的子任务。然而,这种策略难以以端到端的方式进行训练,无法充分利用大量数据进行模型扩展,并对感知错误和不确定性的鲁棒性较差。具体而言,由于后续阶段的LLM无法访问传感器数据,第一阶段中的感知误差可能在后续步骤中积累,导致系统性能下降。此外,这种策略在考虑动作执行时缺乏对环境变化的综合考虑,限制了系统的智能体能力。


端到端基于语言的驾驶方法


为了解决上述问题,研究人员提出了端到端的基于语言的驾驶方法。然而,这些方法大多数在开环环境中进行训练和评估,缺乏对闭环环境的有效考虑。在开环环境中生成的动作虽然可以通过专家动作评估进行评估,但在实际环境中执行时可能面临一系列挑战。例如,导航指令执行时,系统需要综合考虑动作的时间一致性、累积误差以及人机交互等因素,而这些在开环评估中难以准确模拟。


闭环评估的重要性


闭环评估对于自动驾驶系统的发展至关重要。在实际环境中执行导航指令时,不仅需要生成一系列动作,还需要考虑这些动作给环境带来的变化。缺乏闭环评估容易导致累积误差、人机交互问题和动作的时间一致性等关键问题的忽视。只有在真实环境中进行闭环评估,才能更全面地了解系统性能,并为其改进提供有力支持。


端到端的基于语言的驾驶方法为解决训练难题提供了新思路,但在闭环环境中的有效性尚待验证。闭环评估的重要性不可忽视,是推动自动驾驶技术进一步发展的关键。未来的研究方向应该更加注重在实际环境中进行端到端的训练和评估,以全面提升自动驾驶系统的性能和鲁棒性。

分享到:
 
反对 0 举报 0 收藏 0 打赏 0
沪ICP备11026917号-25