自动驾驶中基于深度学习的雷达与视觉融合用于三维物体检测的综述

自动驾驶技术的发展对环境感知系统提出了更高的要求，雷达与视觉传感器的融合因其性能互补性成为研究的热点。本期推荐的综述文章深入探讨了基于深度学习的雷达-视觉（RV）融合技术在三维物体检测中的应用，重点分析了不同融合策略的特点和优势。文章特别对端到端融合方法进行了详尽分类，并结合最新的4D雷达技术，阐述了其在自动驾驶中的创新应用及潜力。此外，作者对RV融合未来的发展方向进行了展望，提出了关键技术的挑战与机遇。希望此文为读者提供系统的研究视角，推动自动驾驶技术的进一步完善。

本文译自：

《A Survey of Deep Learning based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving》

文章来源：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu. "A Comprehensive Survey on Radar-Visual Fusion in Autonomous Driving: Recent Advances and Future Directions." arXiv preprint arXiv:2406.00714, 2024.

作者：

Di Wu, Feng Yang, Benlian Xu, Pan Liao, Bo Liu

作者单位：

西北工业大学、苏州科技大学、上海理工大学

原文链接：

https://doi.org/10.48550/arXiv.2406.00714

摘要：随着自动驾驶技术的迅速发展，对车辆在运行期间的自动 环境感知的安全性和效率的要求日益增加。在现代车辆设置中，摄像头和毫米波雷达（雷达）是最广泛使用的传感器，它们具有互补的特性，使得它们适合融合，并有助于实现强大的性能和成本效益。本文重点对基于深度学习方法的车载雷达-视觉（RV）融合在自动驾驶中的三维物体检测进行了全面综述。我们对每种RV融合类别进行了全面概述，特别是那些采用感兴趣区域（ROI）融合和端到端融合策略的类别。作为目前最有前景的融合策略，我们对端到端融合方法进行了更深入的分类，包括基于三维包围框预测和基于鸟瞰图（BEV）的方法。此外，结合最近的进展，我们详细描述了最新的4D雷达及其在自动驾驶汽车（AV）中的应用。最后，我们展示了 RV 融合可能的未来趋势，并对本文进行了总结。

关键词：传感器融合，雷达，摄像头，物体检测，计算机视觉，摄像头雷达融合，雷达 - 视觉，自动驾驶，综述，调查

Ⅰ 引言 

根据世界卫生组织（WHO）的最新报告，每年约有119 万人死于道路交通事故[1]。因此，开发可靠的自动驾驶系统以帮助驾驶员减少潜在事故并及时避开障碍物具有重要的实际意义。自动驾驶感知是指自动驾驶系统有效感知周围环境的能力，使车辆能够理解和应对各种驾驶场景。这一关键技术对于自动驾驶至关重要，它使智能车辆能够识别、理解和应对周围的道路和交通状况，从而显著提高车辆安全性和降低交通事故率。

智能汽车中的高级驾驶辅助系统（ADAS）通常配备多 个传感器，包括摄像头、雷达和激光雷达。摄像头可以捕捉丰富的语义 信息，包括物体的边界和纹理等视觉特征以及背景。然而，它们容易受到外部因素的影响，如天气和光照，并且它们的探测范围有限。雷达发射无线电波，并利用多普勒效应精确 测量物体的距离和径向速度，最大探测范围可达250米[2]。此外，雷达具有“全天候”能力，无论天气状况或时间如何 都能无缝运行。与激光雷达相比，雷达点云是稀疏的，可以节省计算资源，但代价是增加了错误，包括误报和漏报。作为一种传感器，激光雷达的数据格式类似于雷达所获得的格式，它具有更高的角度分辨率和更密集的数据，从而包含了雷达点云中不存在的语义信息，并实现了更高的检测精度。然而，激光雷达并不是没有缺点，包括生产和维护成本的增加、对环境干扰的敏感性以及可靠性的降低。总之，不同的传感器具有独特的优势和劣势，如表一所示，这自然会促使它们相互融合，以弥补彼此的局限性，从而实现更准确和更稳健的感知结果。

表一 相机、雷达和激光雷达的传感器特性[2]-[4]

目前，尽管激光雷达的成本略有下降，但其在智能汽车中的应用仍受到极端天气、光照差等因素的制约条件以及来自类似频率的干扰[5]。同时，由于摄像头和雷达在低成本、可维护性和高可靠性方面的优势，它们在2级至3级自动驾驶汽车（由汽车工程师协会（SAE） 于2014年发布的J3016标准分类）的传感器设置中占据主导地位，使得雷达-视觉（RV）融合感知成为主要的研究重点。最近，在下一代汽车雷达方面取得了重大进展，不仅提供距离、方位和径向速度，还提供仰角数据，称为4D雷达。4D雷达倾向于提供更密集的点云[7]，并补充精确的高度信息，使其数据类似于激光雷达，但具有额外的速度细节。这些特性有助于4D雷达在自动驾驶感 知中的应用，有助于克服与传统毫米波雷达相关的限制。

关于雷达视觉融合感知，已经进行了多项调查。王等人[8]涵盖了雷达视觉数据融合的策略，但缺乏对基于深度学习的当前最流行的融合技术的综述。魏等人[2]对雷达视觉融合目标检测进行了详细的综述，而唐等人[9] 不仅对目标检测进行了综述，还涵盖了目标跟踪的相关内容。然而，两者都缺乏对最新三维目标检测的系统概述。辛格等人[10]专注于鸟瞰视图（BEV）检测，这是近年来三维目标检测中的一种先进解决方案。然而，它包含了大量的二维目标检测方法，并且缺乏对三维目标检测最新进展的综合总结。在本文中，以自动驾驶感知为背景，我们对基于现代深度学习的雷达视觉融合三维目标检测技术进行了更全面的综述。主要贡献可总结如下：

• 详细讨论了在自动驾驶场景中用于三维物体检测的最新基于深度学习的 RV 融合方法。

• 与基于不同传感器信息集成阶段划分的传统融合策略不同，本文基于深度学习框架的特点将机器人视觉（RV）融合方法分为两类：基于感兴趣区域 （ROI）的和端到端的。

• 与最新的技术发展保持一致，本文整理了有关 4D 毫米波雷达在自动驾驶汽车中应用的最新研究成果。

如图 1 所示，本文其余部分的组织结构如下。第二 部分介绍了目标检测的任务、RV 融合数据集及其他内容。第三部分回顾了用于目标检测的 RV 融合方案，包括基于感兴趣区域（ROI）的融合和端到端的融合。第四部分提供了 4D 雷达在自动驾驶汽车中的最新应用。第五部分分析了自动驾驶汽车中 RV 融合的未来趋势。第六部分总结了本文。

图 1.本文的结构