LangAuto基准:评估语言引导自动驾驶性能的新里程碑

2023-12-14 17:26:37·  来源:汽车测试网  
 

自动驾驶技术在不断演进,为了更全面地评估语言引导自动驾驶系统的性能,LangAuto基准应运而生。相较于之前的CARLA基准,LangAuto基准通过提供自然语言导航指令和通知指令,以闭环方式评估自动驾驶性能,为智体的指令跟从能力提供全面而具体的测试场景。


LangAuto基准是CARLA基准的新进化,旨在评估自动驾驶系统对语言指令的应对能力。与之前的CARLA基准相比,LangAuto基准包括8个公共城镇,覆盖各种场景,如高速公路、十字路口和环形交叉口。为了考虑不同的环境条件,LangAuto考虑了16种组合,包括7种天气条件和3种日光条件。此外,LangAuto基准还引入了三个不同的tracks,分别是LangAuto track、LangAuto-通知 track和LangAuto-序贯 track,全面测试智体在不同场景下的性能。


LangAuto基准的核心要素


LangAuto基准通过LangAuto track、LangAuto-通知 track和LangAuto-序贯 track三个核心tracks来测试自动驾驶系统的性能。其中,LangAuto track要求智体根据其当前位置执行导航指令,而LangAuto-通知 track则在LangAuto track的基础上添加了额外的通知指令,模拟真实场景中的实时通知。最后,LangAuto-序贯 track将连续的2到3条指令合并为一条长指令,以模拟来自乘客或导航软件的多语句指令的情况。这三个tracks共同构成LangAuto基准,为自动驾驶系统提供了全面而严格的性能评估。


LangAuto track的详细分析


LangAuto track是LangAuto基准的核心组成部分,通过提供导航指令,评估智体在不同路线长度下的性能。为了更好地区分性能,LangAuto track被划分为三个子tracks,分别是LangAuto、LangAuto-Short和LangAuto-Tiny,对应不同的路线长度。这种细分设计使LangAuto基准能够全面检测智体的导航能力,从而更准确地评估其在闭环驾驶场景中的表现。


LangAuto-通知 track的挑战与意义


LangAuto-通知 track在LangAuto track的基础上引入了额外的通知指令,模拟了长距离复杂或对抗性场景中的实时通知。这样的设计挑战了自动驾驶系统对复杂信息的处理能力,同时也在实际驾驶场景中更贴近乘客或其他辅助系统的行为。理想情况下,智体应该能够理解和利用这些通知指令,以实现更出色的性能,使LangAuto-通知 track成为LangAuto基准中的一个关键要素。


LangAuto-序贯 track的模拟与实际应用


LangAuto-序贯 track通过将连续的2到3条指令合并为一条长指令,模拟了来自乘客或导航软件的多语句指令。这种设置更加贴近实际驾驶场景中复杂指令的表达方式,为自动驾驶系统提供了更严格的测试。在面对这样的挑战时,智体需要具备更强大的上下文理解和执行能力,使LangAuto-序贯 track成为LangAuto基准中的又一重要组成部分。


通过LangAuto基准的综合测试,我们可以更全面地评估自动驾驶系统在语言引导下的闭环驾驶性能,为未来自动驾驶技术的发展提供有力支持。LangAuto基准的引入不仅推动了评估方法的创新,也为自动驾驶系统的研发和部署提供了更高标准的参照。

分享到:
 
反对 0 举报 0 收藏 0 打赏 0
沪ICP备11026917号-25