广告
交通参与者在环：用于自动驾驶汽车验证的一种基于混合现实的交互式测试平台
2019-05-15 22:29:55· 来源：同济智能汽车研究所
编者按：当下的智能汽车功能大多是危险避撞场景下的安全辅助，而对于此类功能的验证仍缺乏安全且真实的测试方法，虚拟环境仿真可信度不高，而实车路试在极端工况
编者按：当下的智能汽车功能大多是危险避撞场景下的安全辅助，而对于此类功能的验证仍缺乏安全且真实的测试方法，虚拟环境仿真可信度不高，而实车路试在极端工况下危险系数较高。在此背景下，本文作者提出了一种将虚拟和现实结合起来的基于混合现实（Mixed Reality，MR）技术的测试方法，采集空间上隔绝的真实车辆和行人的运动信息并为其提供虚拟环境中的交互空间，观测并记录车辆和行人间的行为特征进而做出评价。这种方法在保障测试安全性的基础上同时提高了试验真实性，是一种新的自动驾驶功能测试思路。
本文译自《2018 21st International Conference on Intelligent Transportation Systems (ITSC)》。作者为来自Karlsruhe（Germany）的Marc Rene Zofka , Stefan Ulbrich , Daniel Karl 等
摘要：为了对自动驾驶汽车进行验证，需要构建从感知到执行的整个系统的集成测试平台。本文所提出的测试平台适用于易使交通参与者受伤害的行为场景下，对自动驾驶汽车性能进行评估。危险交通场景下自动驾驶车辆与行人的交互性试验很难在真实环境中实现，而相关的虚拟试验可信度不高，为了解决这一问题，我们提出了一种混合现实的测试平台，用于危险交通场景下，面对真实交通参与者行为的自动驾驶汽车功能验证。该方法将正常环境模型中记录下的行人和自动驾驶功能信息，附加到所需的交通场景中。该测试平台适用于自动驾驶功能的不同层级的集成测试，具有高度真实性。文章最后通过具体用例对测试平台进行了定性评估。
1、引言
在过去的几十年里，机器人研究在智能和自主移动系统方面取得了很大的进展，也推动了自动驾驶车辆领域的发展。典型的高级驾驶员辅助系统(ADAS)越来越多地在驾驶任务中为驾驶员提供帮助，例如，自动紧急制动(AEB)或代客泊车等功能。车辆上不断集成的这些辅助系统使其能够自主处理越来越多的交通场景[1]、[2]、[3]。然而，这些功能仅会在极少出现的交通场景中生效。因此，这些系统在交通参与者的不同行为下的功能验证仍是一个有待解决的问题。对于自动驾驶汽车而言，其高度自动化的驾驶功能，以下简称被测系统(system under test)，必须在各种不同的交通场景中进行验证。其中最重要的是，交通参与者在公共区域内有危险行为的交通场景，比如，有行人，自行车和机动车，以及停放设施的城市道路交叉口。公共区域内的交通参与者具有各种各样的行为和交互特征，尤其是不遵守规定的行为。值得注意的是，与其他交通参与者相比，行人走得更慢，且更有可能突然改变自己的意图和方向。
自动驾驶汽车必须考虑到这种情况。显然，当系统不得不面对与弱势的行人之间的碰撞时，减缓碰撞程度是一种功能，与此同时，对交通参与者的违规行为的预测是另一个重要功能。系统必须对行人可能的任何行为进行建模、预测和理解，无论其动机是内在的还是外在驱动的。最后，该系统必须能够在无明确的通行权规定的交通场景下，进行人车协调通行。因此，必须能够对以上功能进行安全测试。此外，许多自动驾驶车辆的算法依赖于机器学习来处理各种交通场景。从归纳学习的角度来看，也迫切需要可以采集数据并生成真实危险场景数据集的试验平台。
为了解决这一问题，我们提出了一种混合现实的测试平台，重点关注危险交通场景中基于真实行为的人机交互。这是x -in- loop框架的一种衍生，让受试人扮演行人的角色，并引入联合的环境模型，空间上隔离开的交通参与者们在环境模型中的危险交通场景下进行交互。这种联合环境可以通过增大交通流量或改变遮挡物来生成具有挑战性的危险交通场景。综上所述，这有助于在真实行人的随机、不可预见的行为场景中对被试系统进行验证，同时，保证了交通参与者在任何时刻的安全。
图1. 混合现实测试平台（在空间上隔绝的交通参与者之间构建一个公共环境模型。图左部分表示装有车载传感器的真实车辆环境。图右是在实验室用运动跟踪系统感知记录下的戴着虚拟现实（VR）眼镜的受试人。重叠部分表示虚拟环境模型，自动车辆和行人在此环境中安全地交互）
本文结构如下:第二章对相关研究进行综述。第三章给出了测试平台的设计和架构。第四章介绍了测试平台的实现方式。第五章展示并讨论了交互平台的具体应用情况。最后总结并展望这一研究问题上未来的发展。
2、相关研究
本文所研究的是对智能机器人和自动驾驶车辆的验证，以及对于自主移动系统的测试平台的应用，作者也考虑了应用于机器人的混合现实测试平台。首先介绍Milgram连续图线[4]，这是一个可以将本文所提到的所有测试方法进行分类的概念，这一图线表示了真实场景和虚拟场景之间的连续分类方法，并提供了一种物理对象和虚拟对象共存的新环境，即混合现实环境，见图2。这种环境可以应用于分布式交通参与者[5]之间的交互协作与仿真[6]。在机器人领域，混合现实环境可以为机器人提供测试平台。文献[7]提出了一个通用的框架，使移动机器人能够与不同层级的障碍物进行交互。文献已证明真实的移动机器人如何对虚拟障碍物进行响应，反之亦然。在[8]中提出了一种用于无人机研发的混合现实框架。
图2. Milgram连续图线（从真实环境到虚拟环境，包括了不同程度的混合现实）
对不同的自动驾驶汽车性能的评估有不同的策略。位于连续图线左侧的是真实环境实车测试：在试验场中安放测试装置以触发车与车或车与行人间的危险交互，即在自动驾驶车辆轨迹上使用传送装置放置行人假体或安放有线的行人装置[9]。该方法仅限于生成具有简单交互的交通场景，既不适用于复杂的交通场景，也不适用于灵活的跨区域交互，更不适用于场景结构的便捷修改。另一方面，公共道路测试或场地测试[1]、[2]是在出现频率较高的随机交通场景下进行功能验证。这种测试方法费时费力，试验中的人和设备都有风险，并且采集到的失误行为大多无法复现，此外，也很难观察到潜在的真实情况。
在连续图线的右侧是同样应用于自动驾驶汽车测试的虚拟环境：目前已有各种商业化的虚拟环境平台，如IPG的carmaker[10]或PreScan[11]，以及开源平台，如CARLA[12]，它们都能够将自动驾驶功能集成到虚拟环境中。被测系统的性能通过观察车辆力学的反馈和环境来评估，尤其在v字型的自动驾驶开发过程初始阶段，虚拟平台得到了充分应用。
如[13]所述，仿真模型的质量也会影响测试结果。因此，自动驾驶功能的评估很大程度上依赖于交通参与者行为模型与驾驶任务的适配性及其模型参数的正确性。本文提出的平台则通过替换行为模型避免了这个问题，例如像Menge[14]之类的框架所提出的以数据驱动方式用沉浸在场景中的真实行人代替行为模型。
X在环（X-in-the-loop）验证的概念是真实组件和虚拟组件的逻辑组合和分割[13]：对于硬件在环测试，是将算法集成在一个电子控制单元(ECU)作为真实组件，通过仿真环境的信号进行仿真，并将结果反馈给后续的仿真组件(如动力系统)。对于驾驶员在环测试，虚拟驾驶员被静态或动态驾驶模拟器中的人类驾驶员代替，用以了解真实驾驶员与自动驾驶功能之间的潜在交互。对于车-硬件-环(VEHIL)测试，是一辆真实的、配备传感器的车辆被固定在一个底盘测功机上，控制其机械运动基座进行试验[15]。最后，车辆在环(ViL)[16]，[17]测试结合了之前的方法：一辆配备传感器、具有高度自动化功能的实验车辆在一个自由的试验场进行测试。被测系统收到仿真激励并对虚拟障碍物做出响应。人作为潜在的驾驶员或测试工程师被集成到测试过程中，并使用头部追踪器[18]来增强人在虚拟现实中的沉浸式体验[19]。在[20]中，将真实行人纳入自动驾驶汽车测试过程的想法已经被勾画出来，但仍缺乏具体的实现方法。
除了上述的x -in- loop实例外，还可以使用真实的传感器数据或虚拟传感器数据以开环的方式激励驾驶功能。混合现实的车辆在环测试平台中生成的传感器数据则适用于闭环测试，本文也证明了基于摄像头[24]和基于雷达的[25]激励的可行性。
3、交互测试平台的结构
A. X在环的衍生
在仿真平台中，通常在固定的轨迹中触发重现交通参与者的行为，此外也会作为行为模型嵌入。然而，尽管这些方式可以应用于极端工况，但这些行为缺乏真实的反馈且行为属性不可配置。此外，真实情境中多层次的行为很难转移到一个通用的模型中进行仿真，例如一个行人在过马路之前等待接近的车辆减速的行为，这是行人为了确保其意图已被驾驶员理解。
从测试的角度来看，行为建模所基于的假设可能并不符合现实情况。例如，许多模型假设行人对其他交通参与者的位置和行为有理想的感知。基于这些原因，我们用数据驱动的沉浸场景中的真实行人代替必要的行为模型，在自动驾驶车辆与行人之间存在复杂且不可预见的交互作用时，这种方法可以对被测系统进行有效验证。
因此，本文方法与前面提到的x在环方法一致且更具真实性，如图3所示。本文将参与测试的高度自动化驾驶功能概括为被测系统，并将具有交互关系的交通参与者纳入测试环中用于观察和评估。该方法适用于自动驾驶的整个V型开发过程中模型、软件、硬件的迭代开发和测试，最后将ECU置于测试平台或实车中测试：在初始阶段对被测系统进行软件仿真测试，然后应用于原型车中，由沉浸其中的人类作为弱势交通参与者触发响应。
图3. X在环的衍生（灰色阴影区域表示常用的虚拟测试平台，本文的方法开拓了新的更接近真实驾驶的区域，以评估驾驶功能在实车、真实行人场景下 (蓝色阴影空间)的性能表现。箭头表示真实程度的提高和测评的价值）
B. 广义角色模型
首先引入角色模型的一般概念：它使用真实环境中的实体及其真实行为无缝替换了仿真环境中交通参与者的行为模型，如图4所示。这种模型适用于真实的车辆替换虚拟车辆，以及用沉浸场景中的受试人替换虚拟行人。
图4 广义角色模型（可用真实实体无缝替换行为模型）
角色模型的特征主要有以下3部分：
-传感器模型：它将当前的环境模型拆分转换，以便被环境或真实实体感知。-参考传感器：实体的行为不是一个明确的行为模型，而是通过观察真实实体的时空行为来派生出实体的行为变化得到的。
-光学和几何模型：用来表示角色光学和几何特性的虚拟实体。
此外，第四个组成部分也是必要的：残差系统模型，该模型映射了可观测量和不可观测量之间的残差相关关系，对于可观测量，模型并不存在参考测量系统。如果我们无法观察到人体关节的运动轨迹或车辆车轮的扭转，我们可以从这一残差系统模型中观察到的车辆速度推导出这些轨迹，该附加模型的输出由光学和几何模型来体现。
因此，本文需要做两个基本假设：首先，参考传感器的空间和时间分辨率足够精确，并且有足够精确的模型间映射。然后，地面道路状态足够真实。其次，传感器模型足够精确，能给沉浸其中的人和被测系统适时的激励。如果没有满足这些预设，测试平台会将潜在的误差传递到系统的性能评估中。
C. 被测系统的集成
在开发过程的早期阶段，一般简化了自动驾驶汽车面对行人的交互测试。因此，被测系统被集成为模型或软件，与车辆动力学模型耦合，并由传感器模型进行仿真。在本文的平台中，采用物理驱动的传感器模型，如基于光线追踪的激光探测雷达传感器模型，以及探测障碍物或行人的关节的高级传感器模型。
为了在原型系统中验证被测系统，将其集成到一个真实的物理车辆上，如图5(a)所示，由自动驾驶功能控制，感知环境模型的输入。同时，被测系统受到虚拟传感器信号的触发，如图5(b)所示。利用D-GPS/INS系统等定位系统对车辆位置、方位、速度、加速度等时空特性进行了测量。
图5(a). 利用参考传感器追踪交通参与者的运动，包括装有被测系统的自动车辆和行人。然后，将其行为映射到环境模型中各自的角色模型上
图5(b). 混合现实中的激光雷达传感器信号激励：用虚拟行人的信号增强真实激光雷达的信号。详述参见[25]。
将这些算法嵌入到真实的物理车辆中有几个优点：首先，测试环境与最终的车辆运行情况非常相近。其次，没有对车辆做任何假设，而是真实车辆的动力学响应。最后，车辆的运动可以受到外部因素的激励，例如潮湿路面导致的摩擦力减小，尽可能的提高了真实感。
D. 行人的集成
驾驶员在环的多用户驾驶模拟器测试中，除了使用键盘或游戏手柄来控制行人模型，如图3所示，本文更关注真实的、沉浸场景中的人及其不可预见的、随机的、无模型的行为。如图4所示，本文的广义角色模型需要合理的传感器模型来激励沉浸在场景中的人，以及合适的参考测量系统来观察记录人的行为:
对于人的沉浸感，需要一个合适的立体相机模型产生三维效果。然后，虚拟摄像机将虚拟图像从仿真环境模型中呈现出来。Oculus Rift或HTC Vive即为谷歌虚拟现实（VR）常见的相机型号，它们可以应用于本文的测试，但受到线缆长度的限制，本文选择使用无线的显示系统，例如智能手机，它可以通过运动跟踪系统使受试人沉浸在较大的运动空间内。
测试平台必须为被测系统提供真实实体元素的信息：元素信息由参考传感器直接监测输出，或者由其他系统模型推导输出。例如集成一个行人组件，通过观察其步态估计该行人是否要过马路，本文提供了直接观察行人的关节角或通过其他系统模型的运动合成推算关节角的方法,参见图6。
图6. 早期的版本框架（使用RGB-D摄像头跟踪人体运动，其应用范围限制在较小的工作空间，骨骼跟踪可以观察关节运动。白色条形表示图7(b)中的场景的虚拟停车位标记）
E. 模拟环境模型
环境模型将空间上隔绝的真实行人和真实或虚拟的自动驾驶车辆统一到一个公共的参考框架中，在这个框架中可以安全地进行两者之间的危险交互。这个环境定义了相关的场景元素，如具有道路、十字路口的基本道路结构、交通信号灯或标志、建筑物和静态障碍物等相关影响因素。此外，还可以在交通流中加入其他动态交通参与者。为了构建最极端的场景，本文特别加入半静态障碍物，例如停放的车辆，以遮挡行人和车辆的传感器。
图7. 以潜在的车辆与行人交互为特征的城市场景 (a). 设置公共交通站点的虚构场景模型 (b). 根据实际停车场模拟的虚拟停车场景
在集成度较高的测试平台中，需要预设实体车辆和行人的工作空间：即场景中的车辆和行人在联合环境模型中移动和交互时均不应超过各自的预设移动区域。场景中的最大移动空间由自由试验场和实验室中人体运动的空间范围决定。
F. 数据互通及分析
对于软件到硬件的在环测试，可以在联合仿真平台上建立被测系统，使用一台或多台计算机运行测试，并通过有线网络同步。对于车辆在环测试，需要分布式协同仿真和无线通信来连接不同的、在空间上分离的工作空间中的车辆和行人，见图5(a)。仅需传输参考传感器的测量值，例如交通参与者的当前姿势，而其余模型和传感器激励以及虚拟图像可以在实验室和实验车辆中单独的ECU上计算。
在本文的测试平台架构中，建议使用基于IEEE802.11p/ITS-G5的V2X通信系统作为通信介质。为了传输位置和速度信息，可以使用etsi标准化的合作感知信息(CAM)在各自车辆和行人的传感器之间进行仿真。由于已有标准规定了传输CAMs的频率，因此V2X ECU必须在其规定的传输频率之外发送其他数据。
通过用GPS时间而不是人工模拟时间来标定不同的观测量，从而保证了观测量时序同步。通过以上设定重现系统开环测试、性能评估、交通参与者行为分析以及机器学习的使用场景。
4、测试平台的实现
本平台是基于模块化仿真平台Gazebo[26]和中间操作系统 [27]实现的，其传感器和执行器的接口已标准化，可以实现模型和被测系统的便捷集成。交通参与者可以通过基于模型的行为进行控制，也可以上传参考系统的姿态测量数据。
具有不同自动驾驶功能的被测系统在基于URDF的[28]车辆模型中实例化。在数据驱动模式下，通过D-GPS/INS系统对虚拟角色模型进行定位，然后将传感器数据提供给被测系统。行人由Optitrack跟踪系统定位，该系统由6个Flex13相机构成的阵列组成，，形成一个约为4×2米的椭球工作空间，数据精度为0.5mm。使用智能手机和可追踪标记构成VR眼镜，见图8。根据头部定位在虚拟环境模型中重现行人立体视图，该立体视图被压缩并传输到智能手机。模型通过放置在实验室跟踪区域的路边单元(RSU)和车辆本身的V2X ECU来通信。
图8. 基于智能手机构建的虚拟现实（VR）眼镜，通过添加Optitrack标记进行跟踪
5、评价
由于所设计的测试平台本身用于系统性能的评价，而对平台自身的测评则具有一定的挑战性，因此本文采取一种定性评价的方式，即通过测试实例来论证平台设计的优势。
A. 定性评估
为了实现对测试方法的定性评估，我们选取了包括可视性、安全性、测试量、灵活性和真实性5个参数，用以比较第二部分介绍的3种测试方法和本文的创新测试平台。结果如图9雷达图所示：
图9.基于五个维度:可视性、安全性、测试量、灵活性和真实性的定性分析
可视性定义了测试系统对于测试中的真实实体的视觉重现能力：显然，在完全虚拟的环境中，我们可以观察到所有的仿真实体，而在驾驶模拟器测试中，仅可看到与车辆相关的部分。所以，混合现实的方法可提供与场地测试相同观测水平的环境。
安全性定义为被测系统和行人可能受到的损毁或受伤风险：混合现实方法将试验参与者在空间上完全隔绝，这种方法将伤害风险降至最低。安全性即可视为与风险程度相反。本文提出的方法即使在最极端的测试工况下也不会造成任何伤害。而驾驶模拟器测试也无法保证完全安全，场地测试的伤害则是限于所使用的车辆和行人模具。
测试量定义为给定时间内可以进行的试验数量。由于我们的方法中有实时参与的真实的受试人，所以相较而言，纯虚拟测评的测试量要高得多。然而，对于给定的场景，行人和被测系统之间的交互可以不断迭代。而场景可以通过重置车辆和行人的状态来初始化。另外，对于确定场景下的实车路试的测试量则很难衡量。
灵活性定义为创建不可预见的新应用场景的难易程度。与虚拟测试相同，混合现实环境便于修改参数来实现城市场景、高速事故场景之间的切换或者增加障碍物或遮挡物来实现更极端的场景。由于空间上的完全隔离，就算是不计后果的危险行为也可以作为给定激励而不用考虑安全影响。虚拟环境也可以构建极端危险的静态场景。驾驶模拟器测试则可以通过适当的路径规划来调整场景。而实车路试的灵活性受限于给定场地的路面结构等因素。
真实性是指被试系统受到的环境激励中行为真实性。本文方法的行为真实性完全满足被试系统的需求。虚拟验证的评价结果依赖于集成模型的质量，尤其是行为模型，而本文的方法可以提供车辆所面对的真实行人的行为，真实感更强。
这种定性分析表明，本文的方法为生成具有弱势交通参与者的危险场景提供了一个灵活、通用和可实现的测试平台。
B. 用例：自适应巡航参数化
为了论证平台的设计，对处于早期开发阶段的典型驾驶功能，本文演示了测试平台对其在城市场景中的应用验证。首先绘制了一个真实的城市区域，使用了Lanelets[29]和从OpenStreetMap[30]自动派生的静态建筑进行建模，并手工纹理化，构建了一个可信场景。被试系统采用基于雷达的自适应巡航控制(ACC)和基于智能驾驶员模型(IDM)[31]的碰撞缓解系统。其响应阈值为保险杠与保险杠之间的最小安全距离s0，最小时距T0，期望目标速度v0，最大加速度a0，制动减速b0。计算车辆的加速度a为:
场景中的受试人要在一辆停泊的巴士前穿过街道，到达有轨电车，见图10。受试人在传感器范围内运动实现与被试系统的交互，并可以在不伤害受试者的条件下复现碰撞。该测试能够优化IDM的模型参数，尤其是安全距离和最大减速。虽然没有明确的迭代目标，但本测试能够从行人的角度以一种安全的方式进行场景体验，评估与之进行交互的行人认为何种车辆行为是感受最佳的。
(a). 真实行人在场景入口示例 (b). 车辆还未出现在行人视野中
(c). 行人被告知需要在接近的车辆之前过马路 (d). 虚拟环境中的虚拟车辆可见
(e). 最后行人走到了虚拟车辆前方 (f). 行人能够意识到车辆与自己的距离
(g). 参数有误的被试系统使车辆在距行人过近的地方停车
6、总结
本文所提出的测试平台能够评估高度自动化的驾驶功能，以便在最极端的工况下，在空间隔离开的交通参与者的真实行为的场景中，对不同的集成级别进行验证。为了验证被试系统是否满足其预期的功能，本测试平台能重现被试系统面对真实的弱势交通参与者的交互。该平台尤其适用于碰撞缓解和避撞功能、正常和违规行为的预测功能，以及无交通信号设置的场景下车辆与行人协调合作的性能验证评估。
仿真环境模型与真实系统严格分离，即使使用真实车辆也能够保证安全。例如，让真实的车辆和其他交通参与者安全地分开，允许测试的人类参与者在正常情况下做出不负责任甚至是危险的行为，比如无视交通灯或抢占自动驾驶车辆的通行权。
本研究仍存在几个问题，需在今后的工作中继续完善。由于本文假设通过使用参考系统，复现的是一个真实的地面道路场景，并且传感器模型足够精确得以同时激励行人和被试系统，所以本次研究重点关注的是交互测试平台的架构和实现。但现实中仍然存在车辆和行人姿态的测量误差通过系统传递到评价结果的问题。同时，对于沉浸在场景中的受试人，传感器模型需要根据视觉精度和照片的真实感设计到足够精细，才能使受试人完全沉浸在场景中。后续也会将尽可能多的交通参与者加入到集成测试中，将其转化为一个大规模的测试环境，让他们在更复杂的城市场景中进行交互，从而能够在复杂的城市场景中生成复杂的行人群体行为。
联系人：李老师
电话：021-69589225
邮箱：11666104@tongji.edu.cn
广告
广告
最新资讯
-
NVIDIA 发布 2025 财年第三季度财务报告
2024-11-21 13:30
-
Mack卡车为买家推出创新的虚拟现场探索体验
2024-11-21 13:29
-
氢燃料电池卡车从1到100要多长时间？戴姆勒
2024-11-21 13:28
-
聚焦消费者用车极限环境，2024中国汽研汽车
2024-11-21 13:21
-
新能源汽车高寒环境可靠性行驶试验研究
2024-11-21 13:19
广告
广告
