汽车是20世纪最伟大的发明之一,在我们日常生活中发挥着巨大作用。但据国际世卫组织统计,我国每年交通死亡人数大约在20万,全球每年大约在120万左右人数死于交通事故,且在未来会持续升高,美国公路交通管理局一项报告显示,93%事故与人为失误有关。据欧盟在欧洲交通事故分析中得的结论安装高级自动驾驶辅助设备能有效的降低25%前向碰撞,可避免60%的横向偏离碰撞风险。
一般来说,自动驾驶系统包含感知预测,规划决策和执行控制这三个主要模块。粗略来说,这三个模块对应生物系统的眼睛,大脑和四肢。感知系统负责了解周围障碍物和道路的信息,决策系统根据周围的环境以及设定的目标决定下一步需要执行的动作,而控制系统则负责执行这些动作,比如转向,加速,刹车等。
感知环节对于自动驾驶技术是及其重要的,相当于人的眼睛和耳朵,负责了解周围障碍物和道路信息,通常可以将环境感知技术分为两大类:自主环境感知、协同环境感知。协同环境感知技术则是通过使用 V2X 车联网和高精度地图等进行信息交互和驾驶场景理解。自主环境感知技术主要是利用毫米波雷达、视觉传感器等多种车载传感器感知周围环境,感知主要目标包括动态目标(汽车、行人、骑自行车者等交通参与者)和静态目标(道路、房屋、树木等建筑设施)。感知内容主要是对动、静态目标(障碍物)的三维尺寸、三维位置、几何形状、行驶方向等物理信息进行精细的预测和判断,以下为自主环境感知传感器特性对比:
信号波长处于 1~10mm 范围的探测雷达统称为毫米波雷达,其大致的工作流程如下:(1)毫米波雷达的波形发生器产生发射信号 XT;(2)发射信号XT 发射后,经过目标表面的反射形成回波信号 XR,并被毫米波雷达的接收天线阵列接收;(3)通过混频器对 XT 和 XR 进行处理,得到的输出为 I;(4)通过低通滤波器对 I 进行处理,得到由若干个恒定频率的余弦波组合而成的中频信号;(5)对中频信号进行快速傅里叶变换以及二维快速傅里叶变换后,通过计算得到目标的距离特征信息R 和速度特征信息 v .(6)通过角度估计算法或三维快速傅里叶变换及计算得到目标的角度特征信息θ。
毫米波雷达具有探测稳定、探测范围广等优点。在不同的应用场景中使用的毫米波雷达类型也有所不同,如超短距离雷达主要应用于占位检测,短距离雷达主要应用于侧向来车警示,中距离雷达主要应用于车道变更辅助等。
目前的量产毫米波雷达都只能称为3D(距离-方位角-多普勒)雷达或准4D雷达,基本上缺失或有很弱的俯仰测角/测高能力,这就导致雷达无法单独作为传感器识别前方的静止障碍物,因为其无法区分前方的车辆(真实障碍)和前方的桥梁/井盖(虚假障碍)。在不频繁触发误报的前提上,这会大大降低了障碍物感知的召回率。为了解决上述问题,目前已经有4D雷达问世,可以实现较高精度的二维角度测量,如大陆的ARS548,但其在量产中的应用效果尚缺乏验证。同时目前的4D雷达成本也较高。
视觉传感器以其低廉的价格、较高的分辨率以及丰富的信息等优点在智能汽车环境感知技术领域被广泛使用,但容易受到光照变化、遮挡等因素影响。在实际的检测过程中,难以准确地分割并提取车道线以及精确地定位目标(车辆、行人等)。自动驾驶检测过程中采用工业摄像机作为其视觉传感器,该摄像机具有高图像分辨率、较强的传输能力和抗干扰能力,并且类别有单目、双目和三目三种类型。
(三目包含一个150°的广角摄像头用于监视车辆周围环境,一个52°的中距摄像头和一个28°的远距摄像头。)
纯视觉感知在硬件方面较为单一,使用单目或多目作为传感器采集信息即可;但在软件方面需要更多的算法来进行弥补。算法方面简单划分需要做到进行车道线检测(要对采集到的图像中的车道线进行实时地检测,从而确定可行驶区域),目标检测(包括路上行人或其他交通工具-障碍物检测与跟踪等),交通信号识别等(在识别过程中还要考虑到天气光线等的突然变化)。
车道线检测算法通常可以分为两大类:基于手工选择特征的车道线检测算法(包含以下四个步骤:图像预处理、特征提取、车道线拟合和跟踪)和基于卷积神经网络的车道线检测算法;目标检测算法同样可以分为两大类:基于手工选择特征的目标检测算法和基于卷积神经网络的目标检测算法;交通信号识别高速道路车道线结构简单且路面清晰,所以容易检测。但在城市道路中,道路状况复杂,而且光照变化大,车道线容易受到高楼、车辆等物体产生的阴影的影响。
对于视觉感知,早期的视觉方案以智能摄像头方案为主,即只有1个前向的摄像头,但可以在内部实现感知算法,直接输出目标级的障碍物信息和车道线信息。因此可以用来做1R1V的融合或5R1V的融合。大大降低了主机厂的开发难度。目前的L2级自动驾驶大多还是这个路线。而像特斯拉的HW1.0–基于Mobileye芯片的第一代驾驶辅助硬件。它使用了单个EQ3系列摄像头,单个毫米波雷达和12个中程超声波传感器,毫米波雷达是由博世提供,摄像头布置于后视镜附近,硬件选型都是基于市场上成熟的供应商产品,在HW1.0阶段特斯拉的主要工作也是多传感器融合+应用层软件开发。特斯拉在2016年发布了基于自主研发视觉算法的自动驾驶系统,这样促使很多主机厂意识到多个图像传感器+深度学习感知计算平台的方案实现远超过单个智能摄像头的优势:车身360度的感知覆盖、核心算法掌握在自己手里、可以通过数据驱动不断升级迭代同时OTA。国内最早发布自研视觉感知方案的是在2020年上市的小鹏P7上的XPilot 3.0系统。特斯拉装的三目摄像头和Stereo camera有很大差别,首先三目的三颗摄像头不是为了fuse后提供立体视觉/测距,三目的每个摄像头fov都不一样,每一颗都有各自的使用场景,比如Narrow和Main用于高速NGP/LCC/ACC,Main,Fisheye用于ALC,交通灯检测,行人检测等等,对了fisheye也用于雨量识别,三颗摄像头各司其职。
激光雷达是一种遥感技术,其工作原理是发射反射目标物体的红外光束或激光脉冲。这些反射由仪器检测,光脉冲发射和接收之间的时间间隔能够估计距离。当激光雷达扫描其周围环境时,它会以点云的形式生成场景的 3D 表示。激光雷达通过对地面与物体表面进行三维采样,可以高效率的获取大量三维点云数据,点云中的每个点都了目标的空间坐标(x, y, z)和一些其他属性信息(如反射强度 intensity),是现实世界简单而真实的表征。
基于激光雷达三维点云的环境感知技术主要有立体栅格法、二维投影法与原始点云法。其中,立体栅格法将初始点云按照空间几何关系体素化,转换成含拓扑结构、具备相邻相关性的三维栅格形式,再进行后续处理;二维投影法(多视图法)是先将初始 3D 点云数据映射到不同视角的平面上,转换成诸如鸟瞰图、前视图等 2D 图像,再输入到算法中;原始点云法则是直接处理初始3D 点云。
以射线数量为标准进行分类,可以分为单线激光雷达和多线激光雷达。单线激光雷达因为其只能进行平面式扫描,所以每帧获得的数据量少,难以应用于复杂多变的场景,目前较多应用于场景简单的室内机器人领域,而多线激光雷达,因为可以感知周围的三维信息而被较多的被选择用于车载平台,用来获取周围复杂的环境信息。3D 激光雷达根据有无机械部件,分为固态激光雷达和机械式激光雷达。固态激光雷达又分为 Flash 型激光雷达、MEMS 型激光雷达和相控阵激光雷达三种。
对激光雷达,其机械扫描的版本很早就应用到各种无人车中,但由于量产车对品质和价格的要求更高,因此直到2021年,国内才开始发布搭载激光雷达的量产车,如小鹏P5搭载了两颗 Livox览沃科技提供的HAP激光雷达,单个横向视角120°,针对低反射物体探测距离可达150米,角分辨率高达0.16°*0.2°,点云密度等效于144线激光雷达。其他领头羊如速腾聚创和禾赛科技都发布了车规级固态激光雷达。应用于量产车的固态激光雷达满足了车规级的质量标准,将成本从几万元下降到了数千元的量级,但也损失了360度的探测能力。另外,目前的高性能计算平台也促进了激光雷达的数据处理和目标检测性能提升,已经从传统基于规则的点云处理策略全面转向基于深度学习的点云处理策略。
综上所述,单一环境传感器都有各自一定的缺陷性,两两搭配或三者相融合才能更准确的感知环境,从环境中收集到更详尽的信息,为之后的决策执行做足准备工作。根据对国内外自动驾驶汽车的调研结果,因此可以将环境感知系统分为两大类。一类以激光雷达,以超声波雷达、视觉相机等传感器为辅。另一类则是以视觉相机为主,超声波雷达和毫米波雷达为辅。以激光雷达为主的感知系统需要充分收集道路环境的 3D 数据,建立精确的 3D 地图,并标注好可行驶区域以及交通标识线等,然后利用高精度 GPS 获取车辆位置信息,车辆、行人等目标由激光雷达动态感知。Google 和百度等公司主要采用这种感知模式,在此类方案中,提前构建好的高精地图和实时感知的道路交通环境信息是关键所在。尽管交通环境感知精度高,但其价格昂贵,所以并不适合普遍使用。以视觉相机为主的环境感知系统同样需要采集并标注大量的数据集(车辆/非车辆、障碍物/非障碍物、车道线等),线下完成目标检测和图像识别模型的训练。在自动驾驶汽车自主驾驶过程中,环境感知系统实时地检测出车道线、车辆、行人、障碍物等目标,然后将感知到的信息传递给车载计算机,为决策系统做准备。目前,宝马、宇通等公司主要是以这种模式为主。以视觉相机为主的环境感知系统对算法的要求较高,它需要提前训练好高精度的检测器,并且能够准确、快速地实现道路交通环境感知。但与以激光雷达为主的感知系统相比,其成本较低,更适合普遍推广使用。