激光雷达与视觉融合感知在自动驾驶中的应用

2022年是智能驾驶由L2向L3/L4跨越的窗口期，越来越多的汽车厂商开始布局更高级别的智能驾驶量产，汽车智能化时代已悄然而至。随着激光雷达硬件的技术提升，车规级量产和成本下行，高级别智能驾驶功能促进了激光雷达在乘用车领域的量产上车，多款搭载激光雷达的车型将在今年交付，2022年也被称为“激光雷达上车元年”。

激光雷达是一种用于精准获取物体三维位置的传感器，本质上是激光探测和测距。凭借在目标轮廓测量、通用障碍物检出等方面所具有的极佳性能，正在成为L4自动驾驶的核心配置。然而，激光雷达的测距范围（一般在200米左右，不同厂商的量产型号指标各异）导致感知范围远小于图像传感器。又由于其角分辨率（一般为0.1°或0.2°）比较小，导致点云的分辨率远小于图像传感器，在远距离感知时，投射到目标物上的点可能及其稀疏，甚至无法成像。对于点云目标检测来说，算法真正能用的点云有效距离大约只有100米左右。

图像传感器能以高帧率、高分辨率获取周围复杂信息，且价格便宜，可以部署多个不同FOV和分辨率的传感器，用于不同距离和范围的视觉感知，分辨率可以达到2K-4K。但图像传感器是一种被动式传感器，深度感知不足，测距精度差，特别是在恶劣环境下完成感知任务的难度会大幅提升。在面对强光、夜晚低照度、雨雪雾等天气和光线环境，智能驾驶对传感器的算法要求很高。激光雷达虽然对环境光线影响不敏感，但对于积水路面、玻璃墙面等，测距将收到很大影响。可以看出，激光雷达和图像传感器各有优劣。大多数高级别智能驾驶乘用车选择将不同传感器进行融合使用，优势互补、冗余融合。这样的融合感知方案也成为了高级别自动驾驶的关键技术之一。

点云和图像的融合属于多传感器融合（Multi-Sensor Fusion,MSF）的技术领域，有传统的随机方法和深度学习方法，按照融合系统中信息处理的抽象程度，主要分为三个层次：

• 数据层融合（Early Fusion）

首先将传感器的观测数据融合，然后从融合的数据中提取特征进行识别。在3D目标检测中，PointPainting（CVPR20）采用这种方式，PointPainting方法先是对图像做语义分割，并将分割后的特征通过点到图像像素的矩阵映射到点云上，然后将这个“绘制点”的点云送到3D点云的检测器对目标Box进行回归。

• 特征层融合（Deep Fusion）

先从每种传感器提供的观测数据中提取各自然数据特征，对这些特征融合后进行识别。在基于深度学习的融合方法中，这种方式对点云和图像分支都各自采用特征提取器，对图像分支和点云分支的网络在前反馈的层次中逐语义级别融合，做到多尺度信息的语义融合。基于深度学习的特征层融合方法，对于多个传感器之间的时空同步要求很高，一旦同步不好，直接影响特征融合的效果。同时，由于尺度和视角的差异，LiDAR和图像的特征融合很难达到1+1>2的效果。

• 决策层融合（Late Fusion）

相对前两种来说，是复杂度最低的一种融合方式。不在数据层或特征层融合，是一种目标级别的融合，不同传感器网络结构互不影响，可以独立训练和组合。由于决策层融合的两类传感器和检测器相互独立，一旦某传感器发生故障，仍可进行传感器冗余处理，工程上鲁棒性更好。

针对目前车载激光雷达和图像传感器的特征，以及高速NOA、城市道路自动驾驶、自动泊车等应用场景，觉非的车端感知技术栈中采用了后融合为主的方式进行对点云和图像的融合。
融合感知算法将视觉、点云和毫米波的原始数据进行融合计算，而后进行3D追踪，输出更加精准、完整的感知结果。同时借助高精地图和路端全局样本，对交通参与者的行为轨迹进行精准预测。

觉非科技基于点云的融合感知算法架构

不仅是算法，觉非通过对于融合感知技术的深挖，也解决了在量产之中的许多工程问题：

• 车端嵌入式异构算力平台的移植和优化

觉非自研多种点云和图像的深度学习算法，如稀疏点云卷积算法、单目尺寸还原算法等。同时对车载的嵌入式控制器平台进行了大量的性能优化加速，可使较大的模型部署在车端的嵌入式平台，实现精度更高的激光雷达+多路视觉的融合感知，形成量产的融合感知解决方案。

觉非科技点云与视觉融合感知-V2X端

觉非科技点云与视觉融合感知-车端

• 多传感器标定和时空同步技术

点云与图像的融合效果，高度依赖于高精度的传感器标定和时空同步。标定和时空同步也是上车量产中的重要一环。觉非科技自研了基于高精地图的点云与图像传感器外参标定技术，同时依靠自研GNSS授时和传感器硬同步板卡，对激光雷达和图像传感器进行硬件同步，保证了融合算法需要的高精度时空同步。

• 自动驾驶全栈融合计算解决方案

依托强大的融合感知技术能力，觉非已推出“全栈融合计算解决方案”。可针对不同场景和客户提供定制化的前装与后装定位算法、多传感器融合感知算法及动态交通信息服务，满足自动驾驶各个阶段的需求。方案不但可为L2+提供以纯视觉为主的融合感知与融合定位服务，亦可整合高性能算力平台，并按照不同算力需求精细化部署融合感知、融合定位等服务。目前，这套方案已应用于不同场景，包括车辆变道、长隧道、高架桥下，并已与多个主机厂达成合作，从精度、可靠性、成本等维度，为众多伙伴提供定制化、高规格、可量产落地的服务。

觉非科技LiDAR感知能力效果演示-高速公路场景

觉非科技LiDAR感知能力效果演示-停车场

觉非科技LiDAR感知能力效果演示-小区内道路

随着激光雷达与视觉融合感知技术的不断迭代，以及不断积累的知识场景与案例，觉非的全栈融合计算解决方案将会为自动驾驶带来更加安全与可靠的未来。