车轮上的巨变，生成式 AI 正在重新定义自动驾驶

随着智能驾驶车辆越来越多地进入市场，更多的驾驶者开始享受由智能驾驶系统带来的便利和安全性。随着消费者体验到智能驾驶技术的好处，市场对更高级的智能驾驶甚至是完全自动驾驶技术的需求也在增加，这些技术的实际应用前景看起来非常光明。

自动驾驶汽车，从最初的理论和试验到今天的商业化应用，其发展历经了数十年的研究与进步。当前，自动驾驶技术正处于快速发展阶段，各种新技术不断涌现，全球多家汽车技术巨头和汽车制造商正竞相推动这一技术的商业化进程。

随着计算机视觉、机器学习和传感器技术的突破，自动驾驶汽车的研发逐步走向成熟。早期，这些系统主要依赖于硬编码的规则和简单的感知能力来进行导航和避障。然而，这种方式在处理复杂、动态的交通环境时显得力不从心。随着人工智能技术的快速发展，尤其是深度学习的应用，自动驾驶汽车的能力得到了质的飞跃。深度学习使得车辆能够更准确地理解周围环境，预测其他交通参与者的行为，并做出更为复杂的驾驶决策。这一时期，自动驾驶技术的发展重点从单一功能的实现，如自动泊车和车道保持，扩展到完全自动化的驾驶系统，标志着向更高级的自动化驾驶的发展。

在这个技术演进的新阶段，生成式AI技术的引入，标志着一个全新的里程碑。在自动驾驶场景中，AI技术被运用于对感知传感器采集数据的识别、分析上，自动驾驶系统会基于分析结果，进行车辆控制执行。AI通过对拍摄的目标特性进行分析，持续不断学习，直到能快速对目标进行识别和分类。同时，生成式AI不仅仅在自动驾驶感知和决策制定中发挥作用，更在车辆与驾驶者、乘客之间的交互方式上，带来了革命性的改变。通过高级的语言模型和视觉处理能力，这些车辆不再是简单的运输工具，而是变成了能够理解复杂指令、响应乘客需求、甚至在行驶过程中提供实时信息与娱乐的智能伙伴。

01、生成式AI的核心技术与应用

生成式人工智能是由一系列先进的深度学习模型构成的，其中最为人熟知的是大语言模型（LLM）和视觉语言模型（VLM）。这些模型基于Transformer架构，能够处理和生成大量的数据，为自动驾驶车辆提供了前所未有的感知和决策支持能力。LLM通过对大规模文本数据的训练，使车辆能够理解自然语言，响应驾驶员或乘客的指令，提供实时导航信息和车辆状态更新。例如，驾驶者可以通过简单的语言指令与车辆交流，如查询路线或调整车内环境，而车辆能够理解这些指令并做出智能响应。

视觉语言模型（VLM）则结合了图像识别和语言处理的能力，对自动驾驶尤其关键。它们通过分析车辆摄像头捕获的图像，识别路标、交通灯和行人等关键视觉元素，并能够生成关于这些视觉信息的描述，或者直接在驾驶决策中利用这些信息。这种能力使得自动驾驶汽车在复杂交通环境中能更精确地“看”和“理解”周围的世界，提高了导航的准确性和驾驶的安全性。

检索增强型生成技术（RAG）是另一种重要的生成式AI技术，它允许系统在生成回答或作出决策时，从特定的数据库或互联网上实时检索信息。这种能力极大地增强了自动驾驶汽车的适应性，使其能够接入最新的道路状况、天气预报及法律法规，从而在不断变化的驾驶环境中做出更为合理和安全的决策。通过这些技术的应用，生成式AI不仅在自动驾驶的核心功能如导航和避障中发挥作用，还在提升车辆与人类驾驶者之间的互动体验方面起到了革命性的作用。

此外，NVIDIA在推动生成式AI技术在自动驾驶领域的应用方面发挥了巨大作用。特别是NVIDIA DRIVE Thor平台，DRIVE Thor是专为汽车行业设计的高性能计算平台，不仅能处理传统的自动驾驶功能，如导航和避障，还能运行复杂的大型语言模型（LLM）和视觉语言模型（VLM），实现高级的驾驶员和乘客交互。此外，该平台还整合了NVIDIA的最新Blackwell架构，专门优化了Transformer模型和其他深度学习任务，从而提供了前所未有的计算效率和能力，DRIVE Thor的这些能力使得汽车不仅可以实时处理大量的传感器数据，还能执行复杂的数据分析和生成任务，如生成式问题回答和实时决策支持。

02、生成式AI目前实际应用案例

生成式AI技术在自动驾驶领域的实际应用正逐渐展现其巨大潜力，全球多家领先的汽车制造商已经开始将这些先进技术融入到他们的智能车辆设计中。

比如，比亚迪在与NVIDIA的合作中不仅采用了DRIVE Thor平台来开发其下一代电动车型，而且还计划利用NVIDIA的云端AI基础设施进行车辆的远程监控和维护。这种端到云的整合解决方案使比亚迪能够实时优化车辆性能和用户体验。

广汽埃安宣布旗下高端豪华品牌昊铂下一代电动汽车将采用NVIDIA DRIVE Thor平台，新车型将于 2025 年开始量产，可实现L4级自动驾驶。昊铂目前的旗舰车型昊铂GT搭载了NVIDIA DRIVE Orin，该车型具备先进的 L2+级高速自动驾驶能力。

此外，小鹏汽车利用NVIDIA DRIVE Thor平台作为其电动车的“AI大脑”，处理复杂的导航和交互任务，确保车辆能够理解并适应复杂的驾驶环境。下一代汽车计算机将为电动汽车制造商专有的 XNGP 人工智能辅助驾驶系统提供动力，实现自动驾驶和停泊功能、驾驶员和乘客监控以及其他功能。

理想汽车开发的多模态认知模型Mind GPT也是一个典型例子，这种模型被用于其AI助手“理想同学”，集成了场景理解、生成、知识保留和推理功能。这使得车辆能够在非结构化道路和复杂交通情况中作出准确的驾驶决策。Mind GPT 是一种多模态认知大型模型，使用了自主开发的TaskFormer神经网络架构，并针对用车、娱乐和出行等应用场景进行了特别训练，运用了SFT、RLHF等技术。

同样，蔚来汽车的NOMI GPT系统结合生成式AI与实时数据处理功能，提供了一个交互式的车载助手，能够回答驾驶相关的复杂查询，同时控制车辆内部的多种功能，如气候控制和娱乐系统。

赛轮思公司使用NVIDIA的DRIVE平台运行其为车辆内部交互设计的CaLLM模型。这个模型通过在车辆内部提供集成的座舱体验，提高了互动性。此外，赛轮思还利用NVIDIA DGX云平台对CaLLM模型的性能进行优化，以支持更复杂的计算和数据处理需求，从而提升整个系统的效率和反应速度。

吉利汽车正在与NVIDIA合作，不仅在车内部署大型语言模型（LLM）来处理复杂任务，还在云端部署和运维大模型，以确保车辆系统的连续性和高效性。这种合作利用了NVIDIA的TensorRT-LLM技术，实现了高效的模型推理。吉利计划针对需要大量数据支持的更复杂任务或场景，在云端部署大规模模型。此外，NVIDIA的CUDA GPU和各类微服务技术也支持从数周到数分钟内快速部署这些模型，提供灵活性和性能，以支持在NVIDIA加速计算平台上生产环境中运行生成性AI。

以上案例显示了生成式AI如何在从云到车端的各个层面被应用于现代汽车工业，从而提供更安全、更智能、更个性化的驾驶体验。通过这种技术的整合，未来的汽车将成为真正的智能移动平台，能够在复杂环境中自主导航，并与人类驾驶员和乘客进行高级交互。

03、未来趋势与挑战

生成式AI的融入正在改变自动驾驶领域，预示着交通工具将不再仅是移动的载体，而是成为真正的智能伙伴。通过整合先进的语言和视觉模型，自动驾驶汽车不仅提升了安全性和效率，也增强了与人类用户的互动体验。

尽管生成式AI技术在自动驾驶领域的应用带来了诸多优势和革新，但同时也引发了一系列挑战和问题，需要行业、政策制定者和技术开发者共同面对和解决。首先，技术复杂性的管理成为一大挑战，自动驾驶车辆依赖于大量的数据和高度复杂的算法，这要求持续的技术更新和维护，以确保系统的稳定性和可靠性。此外，数据安全与隐私保护问题也尤为重要，自动驾驶车辆收集和处理大量个人和环境数据，如何保护这些数据不被非法访问或滥用是一个必须严格考虑的问题。

伦理和法律问题也是生成式AI技术必须面对的重要挑战。例如，自动驾驶车辆在遇到潜在交通事故时，如何做出决策，以及这些决策的法律责任归属问题，都需要明确的法律框架和伦理指导。

未来，行业需要在创新和规范之间找到平衡，通过全球合作和标准制定，确保自动驾驶技术的健康发展，使其不仅能够提升驾驶体验，还能确保所有用户的安全与利益。

随着技术的不断进步和普及，我们期待车辆更加智能化，能够无缝集成到智能城市生态中，并与其他交通参与者进行高效的通信和协作。