广告
适用于各种雨，雾和雪汽车感知雷达数据集研究分析
2020-10-27 23:37:55· 来源：Heriot Watt大学传感器、信号和系统研究所、智车行家 作者：Marcel Sheeny∗, Emanuele De Pellegrin∗, Saptarshi
引言：无人驾驶汽车的数据集对于感知系统的开发和基准测试至关重要。但是，大多数现有数据集都是在天气良好的情况下使用相机和LiDAR传感器捕获的。在本文中，我
引言：无人驾驶汽车的数据集对于感知系统的开发和基准测试至关重要。但是，大多数现有数据集都是在天气良好的情况下使用相机和LiDAR传感器捕获的。在本文中，我们提出了不利天气中的RAdar数据集（RADIATE），旨在促进使用雷达感应进行安全自动驾驶的目标检测，跟踪和场景理解的研究。
RADIATE包含3个小时的带注释的雷达图像，总共有20万个带有标签的道路参与者，平均每个雷达图像约4.6个实例。它涵盖了在各种天气条件（例如，太阳，夜晚，雨，雾和雪）和驾驶场景（例如，停车，城市，高速公路和郊区）中的8个不同类别的参与者，代表了不同程度的挑战。在不利天气（例如雾和降雪）中收集的数据是唯一的。给出了一些基于雷达的物体检测和识别的基线结果，这些结果表明，雷达数据的使用有望在恶劣天气下用于汽车应用，在这种情况下，视觉和LiDAR可能会失效。
01 （RADIATE ）雷达数据集可以在恶劣天气用于自动驾驶和驾驶员辅助的感知任务
自主驾驶研究和开发在很大程度上依赖于计算机视觉。摄像机和激光雷达是两个主要的通常采用的感知传感器。但是，由于这些是可见光谱传感器，恶劣天气严重影响数据，导致衰减、多次散射和湍流。
另一方面，已知雷达传感器在不利条件下更为稳健。然而，目前用于汽车应用的公共雷达数据很少，特别是在恶劣天气和带有目标注释的情况下。
在这篇文章中，我们提出了在恶劣天气（RADIATE ）雷达数据集，用于自动驾驶和驾驶员辅助的感知任务。它包括天气状况和驾驶场景的混合，代表不同程度的挑战。
我们选择高分辨率79GHZ 360°雷达作为目标标注的主要传感器，RADIATE 包括5小时的雷达图像，其中3小时是完全注释的。这将为RADIATE 提供超过200K个标记的对象实例，其中包含8个类别的道路参与者（即汽车、货车、公共汽车、卡车、摩托车、自行车、行人和一组行人）。RADIATE 也利用立体相机，激光雷达和GPS数据同时进行收集。
图1显示了一些来自RADIATE的示例。
图1:RADIATE的示例。该数据集包含雷达、立体相机、激光雷达和GPS数据。它是在不同的天气条件和驾驶场景下收集的8类注释对象。
• 据我们所知，RADIATE是第一个公共雷达数据集，其中包括大量在公共道路上标记的道路参与者。
• 它包括在恶劣天气条件下收集的多模态传感器数据，如浓雾和大雪。摄像机、激光雷达和GPS数据也提供给所有序列。
• 作为一个用例的例子，我们证明了当光学传感器（摄像机和激光雷达）发生故障时，RADIATE可用于恶劣天气下的车辆检测。
02 现有的公共汽车雷达和RADIATE数据集对比分析
对于自主驾驶和辅助驾驶的感知研究，有许多公开可用的数据集。最受欢迎的是KITTI数据集，它使用摄像机和Velodyne HDL-64e激光雷达为多个任务提供数据，如目标检测和跟踪、里程计和语义分割。
虽然数据被广泛用作基准，但数据只在天气好的时候才被捕捉到，现在看来规模相当小。Waymo和Argo有比KITTI更大的汽车数据集，提供了更多的数据可变性。一些数据是在雨中和夜间收集的，所有这些数据集只使用光学传感器。
另一方面，雷达提供了一种对雾、雨和雪更具弹性的传感解决方案。它通常提供低分辨率的图像，这给目标识别和语义分割带来了很大的挑战。目前的汽车雷达技术依赖于多输入多输出（MIMO）技术，它使用多个发射机和接收机来测量到达方向（DOA）。
目前的配置缺乏方位分辨率，例如，具有15°角分辨率的商用雷达的交叉距离图像在20米距离处约为10米。这意味着雷达图像无法提供足够的细节来进行目标识别或去瓷砖场景映射。扫描雷达使用移动天线测量每个方位角，提供更好的方位分辨率，这种类型的传感器最近被开发用来处理汽车应用中基于雷达的感知任务。
对于大多数为汽车应用提供雷达数据的数据集，雷达仅用作简单的检测器，例如NuScenes，以给出稀疏的二维点云。最近，牛津机器人车（Oxford Robotcar）和Murran数据集提供了在各种天气条件下从扫描导航技术雷达收集的数据。然而，他们不提供对象注释，因为数据主要是为同时定位和制图（SLAM）和长期自治的位置识别而设计的。
表一：RADIATE与使用雷达传感的公共汽车数据集的比较
表一比较了现有的公共汽车雷达和RADIATE数据集 。综上所述，尽管针对自主驾驶的雷达感知的研究最近越来越受欢迎，但还没有公开的雷达数据集包含大量的参与者注释。我们希望RADIATE 的引入能促进社区的自主驾驶研究。
03 RADIATE数据集解析
RADIATE 数据集收集于2019年2月至2020年2月。数据采集系统是使用机器人操作系统（ROS）创建的。从ROS创建的“rosbag”中提取传感器信息，每个信息都有其各自的时间戳。图3显示了用于数据集的文件夹结构。为了方便访问，发布了一个用于数据校准、可视化和预处理的RADIATE软件开发工具包（SDK）。
图2：每个序列的文件夹树、注释、元数据和时间戳结构
图3：用于数据采集的传感器设置
A、 感知传感器
RADIATE 数据集包括雷达，激光雷达和立体相机。图2显示了我们车辆上的传感器设置和外部配置。为支持传感器融合，对传感器进行校准（详见第III-B节）。
a） 立体摄像机
使用现成的ZED立体摄像机。每台摄像机的图像分辨率设置为672×376，每秒15帧。它由防水外壳保护，以防极端天气。由于雨滴、浓雾或大雪，图像可能会严重模糊、模糊或完全被遮挡。图1显示了一些示例。
b） 激光雷达
一个32通道，10Hz，Velodyne HDL-32e激光雷达用于提供360°覆盖。由于激光雷达信号会被干涉的雾或雪严重衰减和反射，数据可能会丢失、噪声和不正确。
c） 雷达
RADIATE 采用Navtech CTS350-X雷达。它是一种扫描雷达，可提供360°高分辨率的距离方位图像。最大工作距离为100米，距离分辨率为0.175m，方位分辨率为1.8°，仰角分辨率为1.8°，目前不提供多普勒信息。
B、 传感器校准
多传感器融合、特征与角色对应需要传感器标定。立体摄像机的固有参数和失真系数是使用Matlab摄像机校准工具箱进行校准的。然后，可以生成校正图像来计算深度。在非本征定标方面，由于雷达传感器是主要的传感器，所以选择雷达传感器作为本机坐标系的原点。
雷达、摄像机和激光雷达的外部参数用自由度变换（平移和旋转）表示。首先明确测量传感器之间的距离，然后通过调整每对传感器之间的测量值进行微调。传感器校准参数在yaml文件中提供。传感器以不同的帧速率工作，我们简单地采用数据到达每个传感器的时间作为时间戳。
C、 数据收集方案
我们收集了7种不同情景下的数据，即晴天（停车）、晴天/阴天（市区）、阴天（高速公路）、夜间（高速公路）、雨（郊区）、雾（郊区）和雪（郊区）。
a） Sunny（停车）
在这个场景中，车辆停在路边，感觉周围的演员经过。这是目标检测、目标跟踪和轨迹预测的最简单场景。这是在晴天收集的。
b） 晴天/多云（市区）
城市场景是在交通繁忙、建筑密集的市中心收集的。这是一个挑战，因为许多道路演员出现。在这种情况下收集的雷达也被来自非道路参与者的大量反射（如树木、栅栏、垃圾箱和建筑物）和多径效应所干扰，增加了挑战性。这些序列是在晴天和阴天采集的。
c） 阴天（高速公路）
高速公路场景是在爱丁堡市绕道上拍摄的。这可以被认为是相对容易的，因为大多数周围的动态参与者是车辆和背景大多非常相似。这个场景是在阴天收集的。
d） 夜间（高速公路）
我们在高速公路上收集了夜间数据。由于缺乏照明，夜间对被动光学传感器是不利的。由于激光雷达和雷达是主动式传感器，不依赖外部光源，因此它们的性能预计会很好。
e） 雨（郊区）
我们在大雨中收集了18分钟的数据。收集发生在靠近大学校园的郊区场景中。
f） 雾（郊区）
我们发现雾状数据很难收集。大雾在大多数地方并不经常发生，而且很难预测它何时会出现，浓雾有多浓。在实践中，我们在郊区停车和开车时，偶然地收集了雾状数据。
g） 雪（郊区）
RADIATE包括34分钟的雪数据，其中3分钟是标签。雪花预计会干扰激光雷达和相机数据，也会对雷达图像造成较小程度的影响。此外，大雪会在数据收集后3分钟内阻塞传感器（见图6）。雪地里的数据是在郊区场景中收集的。
图4：被雪覆盖的传感器
04 标记雷达图像是一项挑战
因为人类不容易识别雷达数据中的物体。现有的大多数工具都是为该传感器设计的。因此，开发了一种新的注释工具，通过传感器校准自动关联和可视化多个传感器。
八种不同的道路行为体被标记为：汽车、面包车、卡车、公共汽车、摩托车、自行车、行人和行人群。在验证了相应的摄像机图像后，在雷达图像上标注了二维边界框。每个边界框表示为（x，y，width，height，angle），其中（x，y）是边界框的左上角像素位置，具有给定的宽度和高度以及逆时针旋转角度。为了实现有效的注释，使用了CamShift跟踪器。
总的来说，RADIATE在44K雷达图像上有超过200K个边界框，平均每个图像有4.6个边界框。图4显示了每个驱动场景的类分布。在图5中，给出了每个场景中对象的长度和总数。
图5：每个场景的类别分布
图6：驾驶场景和天气条件的数据集长度（以分钟为单位）
05 使用示例：基于雷达的车辆检测
自动驾驶车辆的关键感知能力之一是检测和识别道路参与者，以实现安全导航和决策。据我们所知，目前还没有基于雷达的极端天气下自动驾驶目标检测的研究。因此，我们将使用RADIATE的第一个基线结果作为用例。
图7显示了我们在恶劣天气下收集的一些数据示例，在这种情况下，经过训练的网络无法识别光学图像中的参与者。如图7所示。雷达图像受影响较小，因此我们假设在所有情况下都更有可能进行稳健的目标检测。
图7：各种天气条件下的数据。顶部：投影激光雷达点的图像。中：雷达上有标注的物体。底部：激光雷达，目标从雷达注释投影。注：图像和激光雷达图像在雾、雨和雪中都会退化。黄色圆圈包围了由雪花造成的假激光雷达点
从几种天气条件下获得的数据中，RADIATE包括3个可用于评估车辆检测的示例性数据集：
• 良好天气下的训练集：仅包含晴天或多云天气下的数据。它的建立是为了验证传感器是否能够适应好天气和坏天气条件。
• 好天气和坏天气下的训练集：这套附加训练集包括来自好天气和坏天气条件（夜间、雨、雾和雪）的数据。这是用来开发所有天气的算法。
• 测试集：该测试集包括来自良好和恶劣天气条件的数据，用于评估和基准测试。
作为第一个基线，我们对单个图像中的车辆检测进行了评估。我们将车辆定义为以下类别之一：轿车、面包车、卡车、公共汽车、摩托车和自行车。表二显示了用于训练和测试网络的雷达图像和车辆数量。
表二：定义的每组图像的数量
A、基于雷达的野外车辆检测
我们采用了流行的更快的R-CNN架构来演示辐射用于基于雷达的目标检测。为了更好地适应雷达探测，对原始架构进行了两次修改：
预先定义的尺寸用于锚点生成，因为车辆数量通常是众所周知的，雷达图像提供了不同于摄像机图像的公制比例。
我们将快速R-CNN中的区域建议网络（RPN）修改为输出边界框和旋转角，边界框由x、y、宽度、高度、角度表示。
为了研究天气条件的影响，模型被训练了两个不同的训练数据集：只来自好天气的数据和来自好天气和坏天气的数据。选择ResNet-50和ResNet-101作为主干模型。训练过的模型在一个从所有天气条件和驾驶场景中收集的测试集上进行测试。
用于评估的指标是平均精度，与PASCAL VOC[33]和DOTA评估指标相同，IoU（IoU）等于0.5。表三显示了平均精度（AP）结果，图8显示了精度召回曲线。
可以看出，在好天气和好天气和坏天气条件下训练的AP差异很小，这表明天气条件对雷达目标检测没有或只有细微的影响。AP相对于雷达图像坐标的热图也在图9中给出。
表三：试验装置的平均精度结果
图8：精确召回曲线
图9：平均精度热图
由于仅对好天气数据进行训练的模型的AP分布与同时使用好天气和坏天气数据训练的模型的AP分布非常相似，进一步验证了雷达在全天候目标检测中的应用前景。
关于每种情况下的结果，它主要是受数据类型的影响，而不是天气本身。停车场景被证明是最简单的，实现接近80%的AP，可能是由环境周围的雷达回波的一致性所辅助的。结果在雨雪数据中表现较差。
查看图7，使用的雷达传感器受到雨水影响，改变背景像素值。在雾天，我们用雷达取得了相当好的效果。由于对光学传感器来说这是一个具有挑战性的方案，雷达被证明是一个很好的解决方案浓雾感知。在夜间，高速公路场景下，结果接近白天的结果。
这是意料之中的，因为雷达是一个有源传感器，不受照明不足的影响。图10说明了在各种驾驶场景和天气条件下，使用仅在良好天气下训练的更快的R-CNN ResNet-101，对基于雷达的车辆检测的一些定性结果。
图10：基于雷达的车辆检测的定性结果
06 结论
我们提出了一个新的，标记的，大规模的RADIATE数据集，用于研究自主驾驶和辅助驾驶的感觉数据感知。介绍了传感器的设置、校准和标记过程，并举例说明了在几种不同天气和道路情况下收集的数据。作为一个使用实例，我们展示了它如何被用于野外基于雷达的车辆检测。
这些结果表明，基于雷达的目标检测受天气影响较小，特别是在有雾的情况下，根据雾密度，从激光雷达数据中识别出的目标在很短的距离内失败。这项初步的基线实验显示了有希望的结果，特别是在不利条件下。希望RADIATE能促进社区的研究，特别是在恶劣天气下可以进行强烈感知。
本文可以从http://pro.hw.ac.uk/radiate/访问公共数据集。
广告
广告
编辑推荐
最新资讯
-
HEAD acoustics下线检测：最高级别的质量保
2024-11-15 17:09
-
新能源公司与哈尔滨理工大学联合研究中心揭
2024-11-15 17:07
-
标准研究 | 汽车也要保持“头脑清醒”？有
2024-11-15 17:05
-
基础模型在推进自动驾驶汽车中的前瞻性作用
2024-11-15 17:03
-
中国汽研智能驾驶自主可控检测装备首批联合
2024-11-15 17:01
广告
广告
