特斯拉端到端技术发展路线及其安全性⻛险分析

不久前，特斯拉“We，Robot”发布会直播吸引了全球的目光，无方向盘和踏板等传统驾驶系统的 Cybercab 和 Robotvan 的亮相，让人们把注意力又一次集中到特斯拉的FSD（Full Self-Drive）自动驾驶端到端技术。端到端自动驾驶技术，作为自动驾驶领域的一大创新方向，通过直接从传感器输入数据到输出控制指令的方式，简化了传统模块化设计的复杂流程，提高了系统的整体性能。然而，随着这一技术的不断发展和应用，其安全性问题也日益受到关注。本文梳理了特斯拉 FSD 自动驾驶端到端的发展路线，并从多个维度来探讨端到端自动驾驶技术的安全性，以期为该技术的健康发展提供有益的参考和启示。

Cybercab1（来源：TESLA）

Cybercab2（来源：TESLA）

Robotvan（来源： NOTEATESLA）

01.端到端自动驾驶技术简介

端到端自动驾驶技术是一种基于深度学习的自动驾驶解决方案，它通过一个神经 网络模型直接处理传感器数据并生成驾驶指令。与传统的模块化设计相比，端到端设计避免了信息在各个模块之间传递时的损耗，提高了系统的整体性能。

在端到端自动驾驶系统中，传感器（如摄像头、雷达和激光雷达） 收集的数据被 输入到一个单一的神经网络中。这个网络通常包括多个层次，每一层都负责不同的任 务，从低级特征提取到高级决策制定。通过这种方式，系统能够学习如何从原始传感 器数据中识别道路标志、⾏人、⻋辆等关键元素， 并据此做出驾驶决策。

这种技术的关键在于神经网络的训练。为了训练这样的系统，需要大量的驾驶数 据，这些数据包含了各种交通情况和驾驶场景。通过在这些数据上进⾏监督学习，神 经网络逐渐学会如何在不同的环境中安全地驾驶⻋辆。随着技术的发展， 一些先进的 方法，如强化学习，也被用于进一步提升系统的性能和适应性。

端到端自动驾驶技术的一个显著优势是其潜在的简洁性。由于整个系统由一个统 一的模型组成， 它可以更容易地进⾏优化和更新。此外，这种方法可能更接近人类的 驾驶方式，因为它模拟了人类司机如何从感知直接到⾏动的过程。

端到端自动驾驶技术代表了自动驾驶领域的一次重大进步， 它有潜力彻底改变我 们与交通工具的互动方式。

02.特斯拉端到端自动驾驶技术 FSD

特斯拉的端到端自动驾驶 Full Self-Driving（ FSD）技术的发展路线经历了多个阶 段，从早期的合作模式到后来的全栈自研，不断迭代和优化。

早期探索与合作

起步阶段：2013年9月，埃隆·⻢斯克⾸次提到 Autopilot系统，标志着特斯拉开 始进入自动驾驶领域。

初步合作：2014 年，特斯拉与Mobileye合作推出第一代 Autopilot 硬件（HW1.0），搭载于 Model S ⻋型。

升级合作：2016 年，特斯拉与英伟达合作，推出第二代Autopilot硬件（HW2.0），进一步提升了自动驾驶能力。

转向全栈自研

自主研发芯片：2019 年，特斯拉发布基于自研FSD 芯片的HW3.0系统， 标志着 特斯拉正式开启全栈自研之路。

算法迭代：特斯拉不断优化感知、规划等算法， 如引入BEV+Transformer架构、Occupancy Network 等， 提升环境感知和决策规划能力。

算力平台构建：特斯拉构建了Dojo超级计算机系统，为处理自动驾驶所需海量数 据提供强大算力支撑。

端到端模型的发展

工程师 Jeremy Cohen 列出了特斯拉端到端自动驾驶技术 FSD 架构迁移过程：

1. 引入 HydraNets： 2021 年，特斯拉在自动驾驶系统中引入 HydraNets 多任务学习算法，为后续端到端模型打下基础。

特斯拉的自动驾驶系统引入了一种称为 HydraNet 的多任务学习算法。HydraNet 的目标是拥有一个带有多个头部的网络。这个模型一直是特斯拉架构的关键元素，因 为它允许使用单一的神经网络运⾏多个任务。HydraNet有两个主要模块：

• 感知， 用于通过 HydraNet 检测物体和环境。

• 规划与控制， 用于规划路线和驾驶。

特斯拉在 2021 年使用的是带有神经网络增强的蒙特卡罗树搜索算法。通过将神经 网络与传统的树搜索相结合，它可以在不到 300 个节点的情况下达到目标。

2021 年特斯拉的架构（来源：AI Day 2021 Video）

2. 占据网络的应用：2022 年，特斯拉添加占据网络（Occupancy network）， 进一 步提升环境感知精度。

在 2022 年，特斯拉引入了一种称之为占用网络的新算法。得益于占用网络，不仅 能够提升感知能力，还能够大幅改进规划能力。特斯拉在感知中“添加”了一个占用模块，因此将感知模块分为两个部分：

• HydraNet， 用于发现物体、标志、⻋道线等，负责⻋道的物理理解。

• 占用网络，用于在三维空间中发现占用情况，负责三维理解。

另一方⾯，特斯拉构建了新的规划器，新的规划模块整合了占用信息以及⻋道信 息，仍然采用蒙特卡罗树搜索和神经网络构成的架构。特斯拉在这一部分使用了手动 规则和标准，在模块生成轨迹后， 每个轨迹将有一个成本函数，这将取决于四个因素：碰撞概率、舒适度、干预可能性和人性化程度。这一部分都是“手动”完成的，没有 使用机器学习模型或深度神经网络，没有训练数据，而是编写规则和算法。

2022 年特斯拉的架构（来源：AI Day 2022）

3. 端到端深度学习：2023 年，特斯拉推出 FSD V12 版本，采用端到端大模型，消 除了传统自动驾驶系统中的感知、定位、决策、规划、控制等模块间的界限，实现了    从原始传感器数据到⻋辆操控指令的直接转换

从深度学习模型到端到端架构的迁移，特斯拉 2023/2024 做了两件事：

1. 每个模块都采用深度神经网络。

2. 构建一个端到端模型，将这些神经网络组合在一起。

深度学习模型到端到端架构的主要区别不仅在于模块本身， 也在于它们的训练和 优化方式。在端到端系统中，这些模块被联合优化以实现一个总体目标。在非端到端 系统中， 每个模块都单独优化，没有考虑整个系统的目标。

它可能看起来更像一个黑盒，但也可以看到特斯拉仍然在使用占用网络和HydraNets 等所有技术， 增加的只是将这些元素组合在一起。所以，它是一个黑盒， 但不一定比它已经存在的模块更多，只是增加了一层复杂性：整体训练。

2023/2024 年特斯拉模型迁移过程

（来源：Jeremy Cohen）

通过训练，理论上收益可能是巨大的，这意味着模型在⾯对未知情况时能够更好 地泛化——它只需在其训练中找到最接近的⾏为来采用，而不是停滞不前。

自动驾驶 AI 系统（来源：Tesla）

尽管端到端自动驾驶技术具有巨大的潜力，但它也⾯临着一些挑战。例如， 确保 系统的可靠性和安全性是一个重大的挑战，因为任何⼩的错误都可能导致严重的后果。此外，这种技术需要大量的计算资源来处理复杂的数据和运⾏大型神经网络，这 可能会限制其在资源受限的环境中的应用。

03.端到端自动驾驶技术的安全性分析

端到端自动驾驶技术最为关键的就是安全性问题。对于特斯拉的 FSD 系统，尽管 软件大多数时间可以不需要人类帮助驾驶⻋辆， 但它还没有足够可靠到可以在所有时 间无人协助驾驶。其他的一些使用端到端自动驾驶系统的企业，像 Alphabet 的Waymo 和 GM 的 Cruise，他们的出租⻋已经驶上街头并进⾏了路测，根据其提供的数 据， Waymo 去年驾驶了近 120 万英里的完全无人驾驶里程，总共有 14 次“脱机”， 即   软件需要手动控制。

特斯拉采用“端到端学习”，其中人工智能从原始数据中“学习”如何驾驶；根据国内 端到端配置汽⻋企业， 其他公司像⼩鹏和蔚来等则在其 AI 系统中则添加了人为设计的 规则和护栏。这其中主要存在一个变数：监管机构会采取什么样的判断原则？特斯拉 CEO⻢斯克一直承认， 实现完全自动驾驶不仅仅是技术创新的问题；如果监管机构不  相信无人驾驶出租⻋⻋队是安全的，它是无法上路的。这对于一个需要信心和证明你  已经实际解决了问题的安全关键⾏业来说是重要的问题。 同时， 这也会对⻋辆的物理  设计产生影响。Cruise公司最近放弃了一款未来⻛格的无方向盘出租⻋计划，转而采   用更传统的设计，以便人类操作， 主要是为了降低违反法规的⻛险。

端到端自动驾驶系统的工程应用中存在的局限性问题主要包括算力瓶颈、数据需 求与可解释性困境等。

算力瓶颈：端到端自动驾驶技术需要处理大量的传感器数据，这对硬件的算力提 出了极高要求。当前硬件在处理速度、能效比、成本和散热等方⾯存在局限，这成为 制约端到端模型复杂度和运⾏效率的瓶颈。为了克服这一挑战，算法优化成为了关    键。通过优化算法来提高数据处理效率， 减少对硬件资源的依赖， 是解决算力瓶颈问 题的一种有效途径。

数据需求多样性和质量：端到端自动驾驶系统依赖于大量多样化的数据来训练和 优化模型。数据的多样性直接影响到系统的泛化能力和应对复杂场景的能力。 同时， 高质量的数据对于确保自动驾驶系统的安全性至关重要。数据集中应包含各种极端和 罕⻅场景，以测试和提高模型的鲁棒性。

可解释性困境：端到端自动驾驶存在黑盒问题 。端到端模型常被比喻为一个黑    盒，其内部运作过程不透明，这在发生事故时可能导致无法迅速定位原因， 增加了事 故处理的难度。⾏业专家正在探索多种解决方案， 如可视化技术、可解释的机器学习 模型以及制定相关标准和规范，以提高系统的可解释性和透明度。

Corner Case问题：端到端自动驾驶需要考虑⻓尾场景的处理。不经常出现或极端场景的数据（Corner Cases）对感知模型的泛化性能提出了极高的要求。系统需要能够 处理这些⻓尾场景，以确保在任何情况下都能做出正确的响应。解决corner case的策略包括建⽴专⻔的数据集，如华为提出的CODA数据集， 以及从像素级到场景级别应   用不同的检测方法来提高模型的泛化能力。

技术路线不确定性：不同类型的厂商在端到端自动驾驶技术路线上的选择和实践 上展现了多样性。这种多样性虽然促进了技术的快速发展， 但也带来了技术路线的不 确定性。技术的不断进步和创新是解决技术路线不确定性的关键。随着技术的成熟和 完善，端到端自动驾驶技术的应用前景将更加广阔。

与此对应， 系统的安全性是一个多维度的问题， 解决端到端自动驾驶系统的安全 性问题需要涉及算法、数据、系统、环境适应性 、网络安全以及伦理、法律等多个方⾯。

⾸先，算法安全性问题主要关注点在算法的稳定性和泛化能力。端到端自动驾驶技术的核心是深度学习算法，而算法的稳定性直接影响到系统的安全性。如果算法在 训练过程中出现过拟合或欠拟合等问题，就可能导致系统在实际应用中出现误判或漏判的情况，从而引发安全事故。因此，需要对算法进⾏充分的测试和验证，确保其在 不同场景下都能保持稳定的性能。除了稳定性外，算法的泛化能力也是影响安全性的重要因素。端到端动驾驶技术需要应对各种复杂的交通场景和突发情况， 如果算法不能很好地泛化到未⻅过的场景， 就可能导致系统在这些场景下失效或做出错误的决策。因此，需要通过大量的数据集和模拟测试来提高算法的泛化能力。

其次，端到端自动驾驶系统数据安全性主要与数据质量和数据隐私保护相关。端到端自动驾驶技术依赖于大量的传感器数据来进⾏训练和学习，数据的质量直接影响 到系统的安全性。如果数据集中包含错误或噪声数据，就可能导致系统学习到错误的 知识或模式，从而在实际应用中做出错误的决策。因此，需要对数据进⾏严格的筛选 和清洗，确保数据的准确性和可靠性。随着自动驾驶技术的普及和应用范围的扩大，数据隐私保护问题也日益凸显。端到端自动驾驶技术需要收集和处理大量的个人和⻋ 辆数据， 如何确保这些数据的安全和隐私不被泄露是一个亟待解决的问题。需要建⽴完善的数据安全机制和隐私保护政策来保障用户的权益。

再次，端到端的设计和应用需要考虑系统安全性问题，也包括硬件可靠性和软件安全性。端到端自动驾驶技术依赖于各种传感器和硬件设备来实现环境感知和决策执行等功能。这些硬件设备的可靠性直接影响到系统的安全性。如果硬件设备出现故障或失效就可能导致系统无法正常工作或做出错误的决策。因此需要对硬件设备进⾏定 期的检测和维护确保其正常运⾏。除了硬件设备外软件安全性也是影响系统安全性的 重要因素之一。端到端自动驾驶技术的软件系统需要具备高度的安全性和稳定性以确保在各种情况下都能正常运⾏并做出正确的决策。同时还需要防范各种网络攻击和恶意软件的威胁保障系统的信息安全。

同时， 端到端自动驾驶需要满足不同场景的使用和安全要求，因此， 环境适应性 也对其安全性产生重要影响，这包括复杂环境应对能力和与其他交通参与者的交互的 安全有效。端到端自动驾驶技术需要应对各种复杂的交通环境和突发情况如恶劣天气、道路拥堵、交通事故等。这些环境因素可能对系统的性能和安全性产生负⾯影响。因此需要通过大量的模拟测试和实际道路测试来提高系统在复杂环境下的应对能力和稳定性。在实际应用中端到端自动驾驶技术还需要与其他交通参与者（如其他⻋辆、行人等）进⾏交互和协作。如何确保系统能够正确理解和响应其他交通参与者的⾏为和意图是一个关键问题。需要通过智能感知和决策算法来实现与其他交通参与者的安全交互和协作。

同时，网络安全也是其中系统安全性问题之一。端到端自动驾驶系统依赖于大量的传感器数据和实时信息处理。这些数据在传输和存储过程中容易受到攻击，如数据篡改、拦截等， 从而影响系统的决策准确性。自动驾驶系统软件可能存在漏洞，黑客可能利用这些漏洞进⾏远程控制或干扰⻋辆的正常运⾏，导致安全事故。应此，需要加强网络安全防护，采用加密技术保护数据传输，定期更新软件以修补漏洞，并建⽴应急响应机制以应对潜在的网络攻击。

此外，端到端自动驾驶系统的使用也存在伦理和法律的问题。伦理层⾯，在自动驾驶模式下，一旦发生事故，责任归属往往难以界定。是制造商的责任、软件开发者的责任，还是⻋辆所有者的责任？这需要明确的法律规定和道德准则来指导。自动驾驶系统收集大量个人数据，如⾏驶轨迹、驾驶习惯等，这些数据的收集和使用必须遵循隐私保护原则，确保用户数据不被滥用。自动驾驶系统在⾯临紧急情况时，如何做   出道德决策（如“无人⻋难题”）是一个复杂的伦理问题。需要制定相应的伦理准则来指 导系统的⾏为。法律层⾯，目前针对自动驾驶的法律法规尚不完善，许多国家和地区仍在探索中。这给自动驾驶技术的推广和应用带来了不确定性。自动驾驶技术的发展速度很快，监管机构需要不断更新和完善相关法规，以适应技术发展的需求。同时，监管也需要平衡创新与安全之间的关系。在自动驾驶模式下，一旦发生事故，需要明确法律责任的归属。这可能需要对现有的交通法规进⾏修订和完善，以适应自动驾驶技术的特点。

总体而言，端到端自动驾驶系统的安全性是一个多维度的问题，通过技术创新和 ⾏业标准的制定，可以有效提升系统的安全性能， 推动自动驾驶技术的发展和应用。

04.端到端自动驾驶技术的评价标准

包括特斯拉 FSD 在内的端到端 AI 应用带来了关键的安全问题， 确保基于AI的道  路⻋辆安全且可靠地运⾏对于避免事故和保护人类生命至关重要。对于目前广泛应用于汽⻋安全标准评价体系中的标准如 ISO26262 、ISO21434 、ISO21448 等， 对于更高自动化级别的系统（J3016 中的3级及以上），这些标准中没有提供直接的安全设计或评估指导，特别是如何通过实施机器学习算法来实现安全。

对于特斯拉 FSD 端到端系统，存在的另一个具有争议的关键安全性问题是是否必需使用激光雷达增加安全性。特斯拉认为，对于安全的自动驾驶而言，激光雷达（Lidar）并不是必需的。当前的驾驶系统是为有视力的驾驶员设计的，而不是为激光设计的，这表明特斯拉相信激光雷达对自动驾驶是不必要的。特斯拉的方法基于这样一种信念：在未来⼏年内，其视觉系统将足够先进，以至于其他汽⻋制造商无法证明在他们的⻋辆中包含激光雷达的成本是合理的。虽然增加激光雷达会提供额外的安全层，但是如果特斯拉基于视觉的方法被证明足够安全，激光雷达可能会被视为多余和不必要的成本。 目前，采用激光雷达方法的公司，如Waymo，已经在某些地方实现了4级自动驾驶，而从法律⻆度来看，特斯拉目前的自动驾驶级别被认为是2级。然而，一些专家建议，从技术⻆度来说，特斯拉的全自动驾驶（FSD）测试版可能更接近3级甚至4级。这些判断同样引入了评价的标准性问题。

安全担忧是广泛使用的主要障碍之一，强大的 AI 安全标准可能增强公众对自动驾 驶和基于 AI 的⻋辆的信任，因为公认的标准可以更好地处理其中一些担忧。基于此， 全⾯的自动驾驶评价标准是需要的。 目前公布的 ISO/PAS 8800 是 ISO/TC22/SC32/WG14 道路⻋辆人工智能 AI 安全工作组的⾸个国际标准， 它创建了一个新的框架，涵盖 AI 开发的整个安全生命周期的各个阶段（AI 安全属性定义、技术选择和设计、数据定义和挑选、安全措施、安全性能评价、验证和确认 V&V、运⾏监控和 AI 安全保障等）。另一些评价标准包括功能安全 ISO 26262、预期功能安全（SOTIF）ISO 21448 、ISO/IEC TR 5469 人工智能 AI 功能安全、ISO TS 5083 自动驾驶系统安全等， 如表一所示。特别是针对道路⻋辆 SOTIF 的 AI 安全指南将是组织可以遵循的综合路线图，以确保应用的端到端 AI 系统以安全为⾸要任务进⾏开发、测试和验证。

这些标准和指南将提供一种结构化的方法来解决潜在的危害，并确保 AI 系统在复杂的现实世界场景中按预期⾏为。可能为将 AI 技术整合到⻋辆中创造一个更加结构化和可靠的基础。它将影响技术开发、合规监管、消费者信心以及汽⻋工业和交通生态系统的各种其他方⾯。

05.展望

端到端自动驾驶技术作为自动驾驶领域的新兴力量具有巨大的潜力和发展前景。 然而随着技术的不断发展和应用范围的扩大其安全性问题也日益凸显。为了确保端到端自动驾驶技术的安全性和可靠性需要从多个方⾯入手加强算法研究、完善数据管理、强化系统安全设计和防护以及加强环境适应性研究和测试等方⾯的工作。另一方 ⾯，不断完善的安全评价标准也可以更全⾯的评价端到端自动驾驶等新技术的全⾯性和可靠性，以满足整个自动驾驶全生命周期的安全需求，增强各方⾯的信心。未来随着技术的不断进步、应用场景的不断拓展和安全评价标准的不断完善，相信端到端自动驾驶技术将会在保障交通安全、提高出⾏效率等方⾯发挥更加重要的作用。

参考：

1. 《分解： 特斯拉将如何从模块化向端到端深度学习过渡》

2.  《特斯拉全自动驾驶技术深度学习》

3.  《特斯拉更新了全自动驾驶的定义和特征》

4.  《特斯拉汽⻋安全报告》

5.  《 ISO 8800 道路⻋辆安全和人工智能》

李言| 作者

闻继伟 | 审核