寻找供应商
广告
首页 > 智能网联汽车 > 正文

LMDrive：语言引导的闭环自动驾驶框架

2023-12-14 17:00:50·  来源：汽车测试网  
　

近年来，自动驾驶技术在不断取得进步，但在面对长尾不可预见事件和城市场景等挑战性情境时，现代方法依然存在困难，并可能导致严重事故。与此同时，大语言模型（LLM）展现出令人瞩目的推理能力，逐渐接近“通用人工智能”。然而，传统的自动驾驶方法主要依赖有限的格式输入，如传感器数据和导航路线点，限制了车辆理解语言信息和与人类互动的能力。为解决这一问题，本文介绍了一种名为LMDrive的语言引导、端到端的闭环自动驾驶框架。


LMDrive框架概述

LMDrive框架通过处理和集成多模态传感器数据与自然语言指令，实现了与人类和导航软件的交互。这一框架不仅仅是对传统自动驾驶方法的改进，更是在语言引导下构建的全新闭环系统。通过结合语言信息和多源传感器数据，LMDrive能够更灵活地应对各种驾驶场景，包括那些具有挑战性和不可预见性的情境。


多模态传感器数据与自然语言指令的整合

LMDrive的独特之处在于其对多模态传感器数据和自然语言指令的高效整合。传感器数据包括摄像头、激光雷达、雷达等多种来源，为系统提供了全面的环境感知。与此同时，通过处理自然语言指令，LMDrive能够更好地理解人类驾驶员的意图，实现更加智能化的驾驶。这一整合不仅提高了系统对复杂场景的适应能力，还增强了与用户的沟通和协作能力。


数据集与LangAuto基准

为促进基于语言的闭环自动驾驶的进一步研究，本文作者公开发布了相应的数据集。该数据集包含大约64K的指令跟从数据片段，涵盖了各种驾驶情境。同时，作者还提出了LangAuto基准，用于评估系统在处理复杂指令和具有挑战性驾驶场景方面的能力。这一举措为学术界和工业界提供了一个标准化的评估平台，推动了语言引导自动驾驶技术的发展。

LMDrive框架的介绍以及相关数据集的发布标志着语言引导自动驾驶技术迈出了重要的一步。未来，我们可以期待在这一领域看到更多的创新和突破。随着自动驾驶技术不断演进，LMDrive所提供的语言引导方法有望为解决现有技术面临的挑战提供新的思路和解决方案。这将为实现更加安全、智能和人性化的自动驾驶技术打下坚实基础。

分享到：
 
反对 0 举报 0 收藏 0 打赏 0
  • 汽车测试网V课堂

    汽车测试网V课堂

  • 微信公众号

    微信公众号

  • 汽车测试网手机站

    汽车测试网手机站

• 基于AUTOSAR架构的车规MCU软件开发探讨 • 新能源汽车中基于车载以太网的LIN物理层、数据链路层、网
• 新能源汽车中基于车载以太网的CAN物理层、数据链路层、交 • 新能源汽车中基于车载以太网的刷写、路由及网络配置测试
• 新能源汽车中基于车载以太网的UDPNM测试 • 新能源汽车中基于车载以太网的DoIP测试方法详解
• 新能源汽车中基于车载以太网的SOME/IP协议测试 • 新能源汽车中基于车载以太网的AVB/TSN协议一致性测试
• 新能源汽车中基于车载以太网的TCP/IP协议一致性测试 • 新能源汽车中基于车载以太网的交换机功能和性能测试
  • 广告
  • 广告

编辑推荐

最新资讯

  • 广告
  • 广告
沪ICP备11026917号-25