验证自动驾驶技术的挑战

将真实数据与基于云的模拟技术相结合



摘要

Elektrobit(EB)是全球领先的为汽车行业提供互联和嵌入式软件产品的供应商。由于世界向自动驾驶汽车时代的快速迈进，所以我们开始为自动驾驶系统的改进、测试和验证提供关键的软硬件解决方案。

自动化车辆必须证明车辆在几乎所有复杂的驾驶场景中均可以保证安全可靠。为达到这一目标，我们必须在比以往更广的范围内对系统进行验证。系统测试里程数可能会达到数十亿英里。所以，我们只能通过将大部分测试和验证转移到虚拟世界才能完成测试验证。然而，真实的测试驾驶数据仍然是一个不能回避的问题。

本白皮书将详细描述这一过程中会出现的各种挑战，并介绍一种用于应对未来各种挑战的综合工具链的制定方法。只有使用能够涵盖真实驾驶场景和模拟数据的灵活平台，才能涵盖验证所需的所有用例。此外，通过实现数据管理、增强和标记的自动化，我们能够以合理的费用处理验证需要的大量测试用例。

考虑到测试数据量可能非常庞大，EB整合Azure云平台以解决与PB级测试数据的处理和存储相关的可扩展性挑战。开发人员现在可以在世界任何地方通过强大、安全的高速云网络上传和存储千兆级的真实和模拟测试数据。此外，Azure还可以提供无与伦比的性能、灵活性和可扩展性。通过将这个工具链引入Azure，同时管理、执行多项测试并对其进行后期处理成为可能 — 即实现同时对相同的数据进行访问。

这种整体验证工具链制定方法使用开放接口设计，因此我们可以和合作伙伴一起打造涵盖全面的解决方案，以满足汽车制造商和供应商的特定需求。

EB和Microsoft已经与许多世界顶级汽车制造商合作，将为所有道路使用者提供更可靠、更愉快的驾驶体验。

验证过程中的挑战：进行多少测试和验证才足够？

正如我们所知，驾驶辅助和自动驾驶功能已经在改变驾驶，而不仅仅是不再需要人工干预。这些技术还会让驾驶变得更愉快，更安全。

由于软硬件，尤其是人工智能(AI)技术取得的巨大进步，汽车很快就能够完全独立地思考并做出可以挽救生命的决定。事实上，自动驾驶软件将比最熟练的人类驾驶员更聪明、更可靠。但随着我们向自动驾驶和无人驾驶车辆转型的速度不断加快，我们也遇到了各种前所未有的特殊挑战。

需要经过多少测试和验证才能证明自动驾驶车辆是安全的，而且具备大规模生产的条件？

目前，这是全球汽车制造商共同面临的一个问题。为了赢得终端用户的认可，我们首先必须毫无疑问地证明这种新技术是可靠和安全的。过去，广大OEM厂家和一级供应商进行了大量的上路测试，用来测试高级驾驶辅助系统 (ADAS)。验证自动驾驶系统（SAE 3-5 级）是一个更大的挑战，因为这涉及更复杂的系统，同时还面临OEM对开发周期要求更短的需求，以及还要满足一系列全新的法律和安全要求（图1）。

SAE3-5级自动驾驶几乎不需要人工干预。因此，自动驾驶车辆必须证明车辆在几乎所有复杂的驾驶场景中均可以保证安全可靠。为了实现这一点，系统必须在比以往更广的范围内进行验证。

行业专家认为，要对4级和5级功能进行训练和验证，至少需要收集100亿英里的数据，才能从统计学上涵盖最多样化的情况和边界情况。有几家汽车制造商已经通过他们的30多万辆量产汽车收集了超过60亿英里的数据。而对其他厂商来说，这可是一项艰巨的任务：一支由约2000辆测试车辆组成的车队，每天以平均40英里每小时的速度行驶8个小时，收集所需数据需要40多年的时间。

此外，在讨论验证自动驾驶功能时，还会出现更多问题。当参数变化影响到整个系统的安全时，是否应该重新启动整个验证过程？我们要测试到什么程度，测试多少小时，多少英里才是足够的？我们如何以最佳的方式将测试驾驶分配到不同的市场，并评估所有必要的测试情况？

自动驾驶功能会涉及到前所未有的复杂性。因此，我们需要在用户友好性方面展示更好的解决方案来验证我们是否达到了预期的结果。事实证明，坚持使用当前的方法（例如用于验证更为基础的驾驶辅助系统的方法）是不切实际的。

测试阶段将会非常漫长，并且实际的测试试驾里程根本无法达到。

考虑到对自动驾驶车辆安全性和性能的严格要求，业内对测试和验证程度的讨论是可以理解的。正确验证这些系统需要多少英里和多少小时的测试？到目前为止，各方关于具体数字尚未达成一致。考虑到测试的范围要从1万小时到数十亿英里，所以很明显，仅靠真实的上路测试不足以获得足够的验证。

为了迎接自动驾驶汽车的新时代，模拟测试驾驶可以，也必须代表未来大部分的自动驾驶评估。与此同时，如果要使自动驾驶车辆在期望的时间框架内进入市场，就必须减少开发和更新周期。通过虚拟化技术，我们可以实现对测试驾驶场景的模拟和并行回放，进而加速并改进整个验证过程。

使用模拟技术改善真实驾驶体验

EB在开发汽车嵌入式和互联软件产品和服务方面已经有超过30年的经验，现在我们正在推动行业转向虚拟和模拟车辆测试。

这不仅可以显著增加测试覆盖的范围和广度，而且可以降低整个验证过程的成本和时间。此外，虚拟测试已经与现有车辆传感器系统实现兼容。

使用计算机模拟技术，我们可以将来自不同数据源的数据存储到主数据库中。这些数据源包括车辆事故数据、现场操作测试、驾驶模拟研究、交通模拟以及一般行业知识。我们可以对这些来源广泛的数据进行捕获、记录、分类，然后提取到相关性最高的测试环境中。

示例

运行11.4万次模拟测试驾驶，每次测试驾驶0.6英里，包含2000个测试变量，平均时速60英里，一台高性能计算机需要15.8万天才能完成整个模拟测试。

但使用基于云的方法后，这仅仅是一个计算能力扩展的问题。在Azure平台上使用1万台高性能计算机运行相同的模拟测试，只需15.8天，我们就可以模拟432年的测试驾驶数据。缩短的验证周期有明显的经济效益，而且工程师花费更少的时间进行配置，而花更多的时间进行计算。尽管越来越多的人开始关注模拟测试，但真实驾驶数据仍然十分重要。

通过将双目摄像头、雷达传感器或激光雷达系统等多种传感器整合在一起，车辆在道路上行驶时就可以提供宝贵的交通、道路、天气及环境信息数据。这些数据不仅本自就具有重要的价值，而且还可以为搭建更好的模拟奠定基础。通过真实驾驶数据来改进我们的模拟驾驶，反之，我们的模拟驾驶又可以改善真实驾驶。

示例

一个由200辆测试车辆组成的车队，每辆车每天记录170英里的测试数据，持续一年（220个工作日），每天我们可以从每辆车获得10万亿字节(TB)的数据，每天总共产生2千万亿字节(PB)(2000TB)的数据。这些还只是保守数字，进行3级和4级自动化测试时，每辆车每天生成的数据量可高达80-100TB。

按照这种保守的方式计算，仅一年时间，我们就可以记录总计440PB(440000TB)的试驾数据。


验证工具链

有效生成并使之成为可以用于测试和验证目的的适当驾驶数据要依赖全面的自动驾驶工具链，该工具链可以将所需测试里程的很大一部分迁移到虚拟环境中。通过适当的模拟方法，可以大大减少成本密集型测试车辆的数量和测试驾驶的里程数。所有这些都是可能的，而且也满足法律安全要求，且可以大大减少开发费用。

我们描述了为自动驾驶功能和系统的验证提供全面工具链的方法。这种工具链将包括记录和生成测试驾驶数据、一个用于管理获取的数据以及执行测试，以便成功进行验证的整体平台。

通过利用这种方法和适当的云计算平台，我们可以轻松扩展到数千台高性能计算机的计算能力，从而显著缩短开发时间。

随着Microsoft Azure在50多个地区的出现和不断增长，它提供了一个具有全球可扩展性、无与伦比的灵活性和企业级安全性的数字测试平台，使汽车制造公司能够快速测试和分析数据，从而更快地进入市场，消除基础设施实施和维护的负担。

Microsoft是少数拥有强大、快速云网络，且可以满足自动驾驶独特需求的公司之一。Azure平台在全球50多个地区拥有数据中心，可提供强大、智能、高速的云网络。

EB在Azure平台之上搭建的自动测试驾驶平台中，有几个关键的功能可以在验证过程的不同方面提供帮助，我们将在下文对这些功能进行说明。

测试驾驶记录

汽车制造商、一级供应商和技术提供商已经积累了数百万英里的测试驾驶里程，以建立自己的数据库。通过采集和记录测试驾驶数据，可以对算法进行测试，对AI系统进行训练，对车辆和零部件进行验证，还可以创建真实度更高的模拟环境。

我们的研发合作伙伴可以通过EB提供的一套工具以更有效的方式规划、组织和监控测试驾驶的记录。

为了使测试驾驶真正有效，须轻松可靠地捕获大量的驾驶和传感器数据。了解这个挑战后，EB就可以提供高级数据记录软件、汽车级硬件（支持所有通用总线类型和带宽）以及一套直接注释、触发和反馈记录所需的工具。

通过这种车载设备，开发人员可以轻松捕获所有相关的车辆传感器数据，并将其存储起来，以备进一步处理。

EB Assist CAR Box可以提供功能强大的车载解决方案，用于捕获各种道路和天气条件下的传感器数据。该设备可以轻松集成到现有测试车辆中，提供灵活的输入/输出配置、精确的时间戳和精确记录的传感器数据，帮助加速和改进开发过程。

但是所有这些数据是如何转移到开发环境中的呢？其中的奥秘就在于Microsoft提供的Microsoft Azure Data Box和其他数据摄取解决方案。Azure Data Box是一个独特的磁盘解决方案，能够以可靠且成本低廉的方式将TB级数据传输到Azure平台。Azure Data Box提供USB3.0接口、内置安全保护，并可通过Azure门户提供端到端的跟踪。我们将在“数据摄取和存储”小节中详细介绍数据摄取。

构建在整个工具链中的自动驾驶开发工具EB Assist ADTF（汽车数据和时间触发框架）可以将开发环境与交互式工作环境结合起来。开发人员可以使用图形用户界面和现有模块来创建新配置，无需编写任何代码。它们可以通过拖放来定义软件组件之间的数据流动，并可以立即执行测试，查看效果。用于各种功能的文件库和工具箱可以加快自动驾驶软件模块的开发，这些文件库和工具箱可以轻松集成到框架中。这些功能接口和数据格式对开发人员开放，而且框架兼容Microsoft Windows和Linux操作系统。

EB Assist ADTF可以简化将捕获的测试驾驶数据传输到开发环境中的过程，而且允许在数据上传到云中时对每个单独的传感器执行验证。我们还可以将原始传感器值提取到场景数据库中，以便将来生成测试用例场景。我们可以将数据与区域环境（如天气、道路和驾驶条件）一起存档到云中。我们可以根据处理后的数据对AI算法进行训练，并且可以对整个测试车队进行度量。

EB Assist ADTF由领先的汽车制造商和一级供应商客户群体主导，是全球应用最广泛的ADAS开发和测试环境之一。

场景生成

要运行成功的测试驾驶模拟，制造商首先需要能够生成准确的驾驶场景。通过 EB Assist CAR Box获取的精确测试驾驶信息既可以模拟现有驾驶场景，也可以模拟全新的驾驶场景。

EB和Microsoft合作伙伴生态系统可以将单个资产填充到大型高精地图或程序生成的布置图中，进而提供生成真实驾驶环境所需的模拟工具。获取准确的测试驾驶数据可以确保对汽车行为和其他对象的行为进行正确的物理建模，还可以确保对车辆传感器进行真实的模拟。

数据摄取和存储

借助各种车载传感器、摄像机和LIDAR系统，测试车辆每天可以产生10-100TB的数据，以便用于验证和开发。但我们必须先将这些海量的数据摄取并存储到适合的开发环境，之后才能对其进行处理。

让本就棘手的大数据问题雪上加霜的是，测试车辆往往是分散的。因为第二天的测试可能会在不同的地方完成，所以它们不会每晚都回到同一个车库，这就增加了摄入和储存数据的难度。随着测试车队车辆位置的不断变化和车辆数量的增加，及时的数据摄取可能会变得极其困难，同时跟踪和可追溯性方面也将面临挑战。在边缘建设基础设施是一种效率低下、成本高昂的方法，跨越多个地点进行网络后台管理也是一项挑战。

正是由于这些挑战，使得基于云的解决方案成为开发过程中关键的数据摄取和存储环节。Microsoft Azure Data Box存储设备的设计目的在于从任何位置向云中提供TB级的海量数据导入，以便进行更快的处理。Azure ExpressRoute 可提供一种安全、私有且可扩展的网络解决方案，可以支持PB级日常数据摄取。

通过由超过100个服务提供商合作伙伴（提供“最后一英里”连接以及各自的互连数据中心）组成的大型全球网络，Microsoft每天都可以从几乎任何地理位置摄取PB级的数据，以满足特殊的测试驾驶场景和特定的数据驻留要求。Azure Data Lake存储（第 2 代）和Azure Blob存储可以提供分层的存储模型，带有集成式生命周期管理功能，可以实现最具成本效益的存储和EB级数据长期保留。

数据增强

为了以成本效益较高的方式管理不断增加的测试驾驶数据，EB推出了各种高水平数据自动化软件产品。例如，软件可以通过磁盘后台管理和上传功能支持将数据传输到Microsoft Azure。上传新的车辆记录后，即可自动生成基本的元数据。还支持生成元数据时使用（如驾驶情景）的各种基于AI的服务。EB基于AI的工具还可以对测试驾驶记录进行高效、半自动的标记。该功能可以显著提高标记速度，无需手工贴标服务公司介入，进而降低成本。

对于摄入的PB级数据，实时数据处理和分析在这一阶段至关重要。Microsoft Azure Databricks和其他分析服务可提供完全托管的扩展集群，以实现所需的分析规模和速度。这些服务与Azure存储紧密集成在一起，无需采用额外的分析作业专用存储。

数据访问管理

鉴于所涉及知识产权的敏感性，汽车公司要求对其数据进行严格保护。Azure存储服务可为传输中和静止数据提供加密，还具有防误删保护功能，可确保数据在任何时候都受到严格保护。

Microsoft Azure Active Directory和Managed Services Identify服务支持基于角色的访问控制策略，这些策略可以确保汽车制造商能够在无需重新构建安全架构的情况下轻松将其本地授权协议扩展到云。基于角色的访问控制策略还可以在不允许员工、承包商或第三方合作者访问的前提下提供对训练、测试和模拟系统流程和服务个人身份信息的必要访问。凭借这一功能，我们即可满足不同区域的多种监管要求。

测试用例管理

本文所述的工具链还支持生成和管理测试用例和测试集。用户可以轻松定义软件版本和算法状态等先决条件。还可以列出并管理记录和模拟场景（包括各种变种场景）等输入数据。软件可以提供地表实况和KPI等需要的结果。工具链还可提供测试用例的自动生成，以及之前测试用例的详细历史和覆盖范围。

EB Assist ADTF支持多个用例和前期开发到系列项目的多种应用情况，进而可实现轻松的数据交换。最重要的是，各种用例（如电子地平线）和其他成熟的工具和标准（如MATLAB Simulink、AUTOSAR）的许多可用外接扩展设备和接口均有助于快速和灵活的开发和测试执行。

测试执行和后期处理

EB可以通过透明和有效的方式执行提取的测试用例，以便覆盖包括硬件在环 (HIL)和软件在环(SIL)在内的任意类型的测试场景。通过集成Microsoft Azure云平台，EB Assist ADTF可以支持基本无限制的可扩展性和并行测试执行。开发人员可以通过若干功能方便有效地执行他们的任务：
通过提供智能负载平衡提高现有硬件的效率
通过自动检测和处理执行错误减少停机时间
高效的测试后期处理和测试运行
自动创建有意义的测试报告
测试结果的管理和存档
测试结果对比

例如，在该工具链中，系统会对每个数据包进行自动扫描，并用元数据（如天气和路况信息）进行充实。

通过这种方法，开发人员可以节省与搜索适当驾驶场景相关的时间和资金成本 — 因为数据已经经过适当的标记。

在最近的一个实例（图 4）中，我们验证了一个网格融合软件组件。系统使用基于网格的车辆环境模拟提供了有关有障碍物和无障碍物区域的精准信息。然后，测试中心将网格融合算法的输出结果与一组参考数据进行了比较。还对占用区域、未占用区域和未知区域的KPI进行了比较。然后，将测试数据加载到云中，同时对数据进行了相关的执行和进一步的处理。

回到进行此类测试的工作上来，这些工作通常需要在一定的时间内完成，通常需要每秒50-100GB以上的I/O吞吐量。通常，数据量会随时间增长，而用于数据处理的实际总时间保持不变，在某些情况下就需要I/O系统支持每秒100GB 以上的吞吐量。

以低成本的方式解决大规模I/O数据处理性能和可扩展性挑战是汽车制造商在自动和自主驾驶开发过程中需要克服的关键挑战。

Azure存储具备的各种性能和可扩展功能和优化方法，包括基于SSD的特殊分层功能都可以支持较高的吞吐量要求，确保成功完成各项验证工作。Azure平台的另一个优势是对计算能力的需求，特别是以线性方式扩展开环作业，满足总体实际目标时间的能力（图 5）。Azure带有 PaaS（平台即服务）软件工具，可以自动配置虚拟机、自动扩展作业，并可跨越多个集群和集群类型编排协调作业。

对于闭环模拟，工程师可以通过将特定的作业需求映射到性价比最高的 VM（虚拟机）系列来“调整”作业的大小。由于大多数第三方模拟平台都运行在Azure上，所以Azure PaaS工具对作业调度和自动扩展的支持既可以用于对CPU要求较高的作业（如感知后处理），也可以用于对GPU要求较高的作业（如感知），从而使客户能够以最具性价比的方式实现数十亿英里的数字驾驶里程数。

此外，我们可以将模拟输出保存到EB Assist ADTF中，并用其更新测试用例，从而实现跨验证、训练和仿真的迭代控制循环。
总的来说，用户可以通过这种基于云的独特方法：
借助自动标记和数据增强管理越来越多的测试驾驶数据，同时保持较低的成本。
显著加快并行测试的管理、执行和后期处理 — 快速有效地验证自动驾驶功能。
通过利用Microsoft Azure云平台，从灵活且可扩展的测试中获益 — 更容易满足关键的峰值需求。

适合每个开发人员的开放设计

本文所述自动驾驶验证工具链中的接口采用开放且可访问的模式设计。

通过这种方法，我们的开发合作伙伴可以添加或定制他们自己的服务 — 可以使用整个工具链，也可以只使用选择的部分工具链。这包括自动生成元数据信息，支持地面实况标记，以及针对特定验证任务在强大的“在环”系统上执行测试。

还可以将EB和Microsoft现有工具与模拟专业人员、测试跟踪人员或数据插件专业人员等其他合作伙伴相结合，来构建其他解决方案。

此外，还可以在现有方法的基础上进行扩展。例如，可以通过创建基于语音识别的元数据来进一步改进测试驾驶，或者可以使用智能的数据选择流程来减少实现开发、测试和验证目的所需的总测试里程数。总体而言，我们正在继续努力，以进一步缩小记录的数据和模拟数据之间的差别。

结论

现在解决各种数据方面的挑战是避免将来自动和自主驾驶技术开发中各种潜在问题的关键。在决定如何采用最佳的方式收集、摄取和处理数据时，汽车制造商和一级供应商必须谨慎选择正确的前进方向。

EB可以提供一套通过实际使用验证的软硬件产品，用于捕获和管理数百万英里的测试驾驶数据，进而允许开发人员有效地细化和改进他们的自动驾驶系统。

Azure云平台和Azure Data Box可为全球开发人员提供一个强大的平台，可以有效地管理数百万（很快就会达到数十亿）英里的测试驾驶信息以及PB级的模拟数据。

EB和Microsoft已经与多个世界顶级汽车制造商展开合作，努力让所有道路使用者获得更可靠，更愉快的驾驶体验。

如需了解更多关于Microsoft Azure服务的信息，请访问Azure.com。