自动驾驶基础（十三) 之PDS简介

行人检测技术是当今无人驾驶研究中一个十分活跃的领域， 特别是在城市交通环境中, 行人检测技术能警告驾驶员可能与车辆邻近的障碍物尤其是行人发生碰撞, 为避免交通事故的发生提供了有力的技术支撑，有明显的社会和经济效益。

行人检测系统(PDS:Pedestrian Detection System),是汽车智能辅助驾驶系统（ADAS）的一部分，目的是在行进的汽车上建立一个自主、智能的行人检测系统，并集成到智能辅助驾驶系统中。由于集成行人检测以及对驾驶员的报警提醒功能，所以有时候也称作行人检测预警系统（PDWS：Pedestrian Detection and Warning System）。PDS系统具有提高驾驶安全性、保障行人生命财产安全的重要意义和实用价值。随着汽车智能化的发展,PDS 作为智能汽车的一个核心支撑技术,受到产业界高度关注。

同时,由于PDS 面临的环境非常复杂(例如在城市交通中,交通对象复杂繁多,场景、气候、光线复杂多变) ,这对PDS 的适应性、稳定性、实时性提出了很高的要求，因此,PDS 也成为信号处理、自动化与控制、人工智能与模式识别等多学科交叉的一个研究热点。 PDS 研究自二十世纪九十年代中期就已开始。我们可以根据其中采用的代表性核心技术和原型系统的进展,将PDS 研究分为两个阶段:第一阶段从开始到2002 年. 研究者借鉴、引入了一些图像处理、模式识别领域的成熟方法,侧重研究了行人的可用特征、简单分类算法;出现了一些基于普通光学、红外摄像头的简单原型系统,从功能方面初步验证了PDS 的可行性,不过性能方面离实用还相去甚远。而在近些年来,由于不断引入具有更高精度、更具针对性的新型传感器,算法研究也更具针对性、更细化,这促使PDS 研究取得了新的明显进展。



早期的PDS 研究大都直接借鉴基于静态摄像头的静态视觉监控技术,包括图像处理中的图像分割、边缘提取、图像匹配、光流、运动检测等技术以及模式识别中的一些简单分类算法.以图像处理技术为基础的代表性工作有:
· Gavrila 提出的行人检测系统是基于模版匹配方法的一个代表。
· Lipton 通过计算运动区域的残余光流来分析运动实体的刚性和周期性，从而实现行人检测，这是基于光流技术的一个典型代表。
· Heisele 等利用行人腿部运动特征进行行人检测，可以认为是基于运动检测的典型代表。

基于视觉的行人检测系统一般包括两个模块：感兴趣区（ROIs, Region of Interest)分割和目标识别。行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这就要求采用的图像处理算法不能太复杂。

根据分割所用的信息，可将感兴趣区(ROIs)分割的方法分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法。基于运动的方法通过检测场景中的运动区域来得到 ROIs。基于距离的方法通过测量目标到汽车的距离来得到ROIs .可以用来测距的传感器主要包括雷达和立体视觉。基于图像特征的方法指通过检测与行人相关的图像特征从而得到 ROIs。对于可见光图像来说，常用的特征包括竖直边缘、局部区域的熵和纹理等. 对于红外图像来说，主要根据人体尤其是人脸的温度比周围环境温度较高这一特征，通过检测一些“热点”(Hot pot) 来得到 ROIs。摄像机的安装位置和摄像机参数也是一个很重要的考虑因素。它对行人在图像上出现的位置和每个位置上目标的大小给出了很多限制, 合理利用这些限制可以大大地缩小搜索空间。

根据利用的信息的不同，目标识别可以分为基于运动的识别和基于形状的识别两种方法。基于运动的识别方法指通过分析人运动时的步态 (Gait) 特征来识别行人。人体的步态具有特定的周期性，通过分析图像序列的周期性, 然后与行人步态的周期性的模式相比较, 就可以识别出行人。

由于行人探测是在车辆运动的状态下进行的, 这样会带来摄像机的运动, 从而背景图像也会相应发生变化。基于形状信息的行人检测方法回避了由于背景变化和摄像机运动带来的问题, 主要是依靠行人形状特征来识别行人, 因此基于形状的行人检测方法能识别出运动和静止的行人。

基于形状的识别方法指通过分析目标的灰度、边缘和纹理信息来对目标进行识别。基于形状的方法包括：基于明确人体模型的方法，基于模板匹配的方法，基于统计分类的方法。

基于明确人体模型的方法指根据人体结构的知识，构造一个明确的 2D 或 3D参数模型，通过提取图像的底层特征来求解模型, 从而识别行人。

基于模板匹配的方法通过存储一些灰度或者轮廓模板来表示行人，识别的时候只需要度量模板与输入窗口的距离就可以识别行人。
基于统计分类的方法通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示行人，然后利用该分类器对输入窗口进行识别。基于统计模型的方法主要包括两个步骤：特征提取和分类器设计. 特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分类器设计属于机器学习领域的范畴，其目的是得到一个计算复杂度较低，并且推广性较好的分类器. 针对行人识别问题，可根据分类器的设计方法将现有的基于统计分类的方法分为基于神经网络(NN) 的方法，基于支持向量机 (SVM) 的方法和基于 Adaboost 的方法。

构建一个鲁棒的行人检测系统, 除了与行人特征、分类与定位技术有关外, 系统的性能还与训练样本的选择、预处理和后处理等密切相关. 一般行人检测系统主要分为四部分：特征提取、形变处理、遮挡处理和分类。

特征提取的应该是行人最有判别力的特征，比较有名的特征描述子有：Haar-Like,SIFT、HOG等等；其次，可变形模型应该可以处理人体的各个部分，例如躯干、头、腿等等。最有名的DPM（可变形部件模型）使得各部件具有连接性约束。形变处理是人体姿态的多样性，给行人的准确识别带来了一定的困难，为克服形变带来的难题，在深度学习的框架中加入了形变处理层，采用混合形变模型，针对卷积产生的部位图生成对应的形变特征，把部位图与形变特征结合形成混合特征图，用最大化函数处理混合特征，生成对应的部位检测。遮挡处理是运动目标检测中的一个难点问题，遮挡处理的结果将直接影响运动目标检测的准确性，因此，遮挡处理是行人检测过程中极其重要的一步，在遮挡处理的过程中可视度的估计是非常关键的，针对例如检测Blocks或Parts的得分以及采用线索：图像分割、深度图等。分类器决定候选窗选中的为一个行人，如：SVM、boostedclassifiers、随机森林等等。在这些方法中，分类器是由训练数据来调整的，但是特征是手工设计的。如果有用的信息在特征提取阶段遗漏了，那么在分类阶段不可能在恢复。实际上，应该是分类器应该引导特征的学习。用深度学习的方法将行人检测的几个方面进行系统的联合训练，避免每个步骤单一练造成的局部最优化问题，使得整个检测系统达到全局最优。

在分类算法方面,被引入的方法有径向基函数(Ra2dial BasisFunctions、神经网络(Neural Net2works)等. 在应用这些算法时,大多是将行人检测看成一种简单的2 类划分问题,然后使用一个基于上述算法的单分类器来完成行人的分类.

下面,我们首先从技术和系统两方面对近年来的研究进展给出综述
(1) 新的特征表示
在PDS 中使用的特征有物理特征和抽象特征两大类,前者又包括外观特征和运动特征。 其中外观特征用于描述单帧图像中的行人形状、轮廓、纹理等静态信息,而运动特征主要描述行人运动时产生的变化和规律. 抽象特征实质上是一种特征表示方法,同一种抽象特征既可用来描述外观特征也可用于描述运动特征,典型的代表有haar 特征。在早期的PDS中,大多数工作仅使用一种外观特征或者一种运动特征；其中,外观特征主要有原始灰度和轮廓,也有少量工作使用了颜色。 由于每种特征的针对性不同,只使用一种特征的PDS 都难以获得较好的检测性能.近年来,在特征表示领域,主要有两种研究趋势. 一种是针对行人的外观、运动特性,进一步提出了一些更具针对性的新特征. 主要代表工作有:
(a) 新的外观特征:
· Amnon 等提出了基于人体的9 个关键部位及其相对位置关系构成的13 个关键特征；
· Havasi 提出了基于人腿的三次对称性特征。
(b) 新的运动特征: Ran 等提出了人腿形态周期性特征。
(c) 新的抽象特征: Lowe 提出了SIFT 特征, 它具有尺度不变的良好特性；这一特征也被Am2non 引入到其PDS 中用于形状特征的表示。

另一种是使用多种特征综合的表示方法. 在此方面,Viola 的工作最具代表性和影响. 他于2003 年提出综合运用外观和运动特征的特征联合表示方法,结合串联的组合分类机制,在行人检测和人脸检测实验中取得了当时的最优结果. 总之,外观特征(如形状、轮廓、纹理和颜色等) 和运动特征在支持行人检测时各有一定的局限性:外观特征在行人被遮挡、重叠时效果不理想;运动特征对静止的行人无效,对腿部遮挡的行人也无效;此外,运动特征的获取需要连续帧信息,处理速度相对较慢. 因此,近年来的工作主要采用了外观特征和运动特征的组合方式.此外,以前的PDS 大多使用行人的全局特征. 近年来,一些工作也开始使用头部、腿部等局部特征作为全局特征的补充; 这可以在一定程度上提高检测率、降低误报率,并可解决部分遮挡问题.

(2) 特征选择方法
在PDS 中,需要为分类机制选择相应的特征集合.在早期工作中,特征选择大多采用人工选择与实验相结合的方法;例如在模版匹配方法中,人形模版特征的选择、甚至匹配顺序,都是根据经验人为指定的。 而在实际上,由于支持分类的特征种类越来越多,每种特征的数量又可能很大甚至是海量的；为此必须选择出尽可能数量少、但是有效的特征,以获得较好的分类性能和速度. 至今,已有少数工作关注PDS中特征选择方法的设计. 例如,Viola 在其设计的PDS 中引入的AdaBoost 算法已具有特征选择的能力,它能选择出分类能力强的单个特征并用于分类器的构造；作者也曾完成了基于协同进化的人形模板特征选择和多类海量(颜色、haar) 特征优选的试探。

(3) 特征降维方法
从机器学习的角度来看, PDS 的特征空间是高维的；因此,为了降低特征的冗余性、得到本征特征,近年来降维技术开始在PDS 研究中得到使用。 例如:Munder和Gavrila 提出了用线性PCA 方法进行特征降维。当然,这一方面的工作还刚刚开始,PDS 的特征空间在本质上很可能是非线性的,机器学习领域中的各种非线性降维方法值得尝试.

随着深度学习的提出以及这几年的大热，越来越多的研究人员将其应用到行人检测领域，例如：Pierre Sermant等人提出了用无监督的多特征学习法，应用稀疏卷积神经网络自动学习图像的所有特征，提高了检测的准确度；Ping Luo等人提出了用可切换的深度网络检测行人，将RBM模型与卷积神经网络连接在一块，可针对图像中不同的行人部位选择更合适的模型，能有效的处理人体部位形变的问题； CNN是当前语音分析和图像检测、识别领域的研究热点，它的整个结构更加类似于人的神经网络结构，降低了网络模型的复杂度，具有权值共享性，避免了传统识别算法中复杂的数据重建过程。

但是，PDS 具有与静态视觉监控明显不同的特殊之处,单纯使用静态视觉监控技术是远远不够的. 以基于光学设备的PDS 为例,使用图像分割技术的系统在性能上检测率低、误报率高、速度慢,受图像质量影响过大;边缘提取方法由于行人、背景的多样性和复杂性,也难以取得较好的检测效果;模版匹配方法面临着模板难以选取、匹配效率等问题的挑战;此外,基于光流的方法在检测速度和效果方面也都不太理想. 基于采用单一的传感器不能很好地实现行人的检测、测距与跟踪。未来结合激光雷达可以解决图像模糊问题, 红外传感器可以增强视觉识别的可靠性。红外图像中热源的分割虽然比光学图像的容易得多,但是仍然存在很多干扰因素(如汽车尾气、夏天气温接近体温、玻璃阻隔等等问题) ,这也使得只基于热红外设备的PDS 很难实用化。未来不但需要提高视觉识别的可靠性还有与其他传感信息进行融合, 真正实现不但能看到行人, 而且要感知到行人。在城市道路交通环境中基于计算机视觉行人检测仍然是一个很大的挑战。由于行人的穿着颜色各不一样, 并且很容易和背景相混淆; 有时行人还会佩戴帽子或背包, 而行人的动作也是多样的, 有站立不动的, 有走动的, 而且运动方向也各不一样; 背景图像中的物体也各不一样, 有各种建筑物, 运动和静止的车辆、自行车、道路标志及信号装置等。而且对于安装在运动车辆上的视觉系统, 背景图像的突然变化也是不可避免的。

综上所述，早期的PDS 主要采用一种光学传感器来获取信息,如普通光学摄像头、红外摄像头等. 近年来,出现了一些专用于PDS 研究和系统设计的新型传感器. 特别是专用雷达的出现和使用,促使PDS 研究走上了多传感器融合的道路.目前用于PDS 的传感器可以分为两类,光学传感器(普通光学摄像头、红外摄像头) 和雷达传感器(毫米波雷达、激光雷达) ,它们的优点和缺点如下表所示：



目前各国行人检测技术采用的传感器主要有机器视觉 (立体视觉、单目视觉)、红外成像传感器、微波雷达、激光等, 这些传感器可对周边环境进行非接触探测, 以获取车辆周边的行人等障碍物以及它们的距离、速度等信息。

机器视觉技术是目前智能车辆领域发展最快的技术之一。与其它传感器相比, 机器视觉具有检测信息量大、能够遥测等优点。视觉技术在智能车辆研究领域已经有比较成功的应用, 以上介绍的各种行人检测方法都是利用机器视觉提供的丰富信息进行行人探测与跟踪, 所有这些视觉处理方法都要考虑到由于行人外形、衣着等因素造成的行人视觉图像信息的复杂性。现在制约着视觉技术在行人检测方法中的应用的关键因素就是视觉技术的数据处理量大, 容易导致系统的实时性问题。

红外成像传感器，为了适应在比较黑暗的环境中较好地对行人进行检测, 红外成像技术就自然成为一种比较好的方法,因为用红外技术可以克服普通机器视觉很难解决的行人检测中光照对检测效果的影响。红外成像依据的是物体的温度和其发出热量的数量, 它最大的优点就是不受光照改变的影响。首先根据行人目标比背景物体的发热量高, 利用样本行人像素点的亮度均值和标准差计算得到行人亮度阈值, 对可能包含行人的区域进行分割。概率模板的建立是对高度相同但姿态和方位不同的行人红外图像经过阈值归一处理后的模板, 最后利用这个模板对图像中的目标区域进行匹配以确定是否存在行人。但是由于路边街灯以及行人成群等因素, 系统的误警率比较高。红外摄像机可以用在白天或黑天, 而且由于没有颜色或强烈的纹理结果使得行人识别更加容易。同样, 阴影的影响问题也大大减少。环境高温或强烈的太阳照射, 尤其是在炎热的夏天, 会减弱行人与周围物体的温度差别, 从而改变人体发出的热量。相反,在外界环境温度低的情况下, 衣服很容易屏蔽人体反射能量，这样只能感知人体的某些部位。

雷达技术可以得到车辆周围的深度信息, 易于解决机器视觉技术在深度信息方面的难题, 而且不受天气、阳光等的影响。利用雷达可以可靠地提供车辆周围 (尤其是远距离) 的车辆、行人等障碍物的深度信息。利用微波雷达传感器进行车辆周围近距离障物探测在一些特殊条件下 (如恶劣天气可见度低或恶劣环境影响如路面结冰、下雪或灰尘等) 有很多优势。由于人体内含有大量的水份, 微波雷达能可靠地探测到行人和其他的道路参与者。采用微波雷达技术进行行人探测算法主要是基于对行人特殊反射特征的估计。将行人从其他障碍物进行分离主要是在估计雷达信号中这些典型的人体反射信号。

从20世纪70年代开始, 激光测距传感器就开始用于机器人领域, 主要用来检测障碍物、获取环境三维信息等。激光扫描器能够准确、快速地测量目标物体的轮廓。通过物体的轮廓, 就可以将目标进行分类, 如行人、自行车、轿车、卡车等。而激光成像雷达(Imaging LightDetection And Ranging)是激光雷达和光电成像系统相结合的产物，是激光雷达发展的第四个阶段的重要成就之一。自80 年代至今，激光成像雷达得到了发展迅速，现今的激光成像雷达可以较高精度的给出目标含有距离信息的三维图像(4D图像)，甚至可以同时给出目标的姿态和滚动速度等信息，因此在军事、航空、航天、测绘等领域得到了广泛的应用。激光成像雷达所采用的波长主要有0.9μm, 1.06μm, 3.8μm及10.6μm，这个波段的频率比微波高几个数量级，因此激光成像雷达的速度分辨率，测量精度、抗干扰性能是微波雷达无法比拟的。激光成像雷达在其作用范围内，绝大多数目标均成为可分辨目标，这是激光成像雷达最显著的一个特点。
我们可以根据参与融合的传感器类型将相关研究划分为如下几类:

(1) 光学与雷达传感器融合
专用于PDS 的雷达传感器以其在测距、测速、处理速度上的绝对优势,自从出现后立即成为了PDS 主流传感器之一. 早期就有Fuerstenberg 等提出的基于多层次激光雷达的PDS。 目前,研究界和产业界都比较认同光学与雷达传感器融合的方法,即用相对慢速的机器视觉技术来辅助雷达,增强对障碍的分类能力,以降低行人检测误报率. 光学与雷达传感器融合的工作是PDS研究的一个前沿. 代表性工作有: Kato 等提出了一个基于单毫米波雷达和单光学摄像头信息融合的PDS；Jung、Zhao分别提出了一个基于单激光雷达和单光学摄像头信息融合的PDS；Fardi 等提出了一个基于单红外摄像头和单激光雷达信息融合的PDS。
(2) 普通光学摄像头和红外摄像头融合
PDS 研究中还有少量基于光学摄像头和红外摄像头信息融合的工作。采用这种融合的PDS 检测率较高，但由于仅能通过立体视觉技术获得粗糙的距离信息,因而在速度、精度、稳定性等方面都难以满足实用。
(3) 更多类传感器的分层融合
这种融合方式的出发点是使用尽可能多的传感器,获取更全面的信息,期望获得尽可能好的检测效果. 具体做法一般是:先将特性相似的传感器在底层融合,然后在高层组合其结果. 例如,在PROTECTOR 系统中,先在底层分别完成了光学和红外摄像头的信息融合以及5 个雷达数据的信息融合,然后再进行高层融合。

PDS 历经二十多年的发展和积累, 在多方面因素的共同推动下有了长足的发展, 当然仍存在一些亟待解决的技术难题. 主要包括:
(1) 如何均衡PDS 系统的各方面性能指标实用化的PDS 要求同时具有高检测率、低误报率和高检测速度, 这三点缺一不可. 然而现有的方法还难以同时满足这些要求.
(2) 如何解决特殊场景下的行人检测问题?
PDS 面临的场景十分复杂, 光线突然变化、逆光、雨雪天气、汽车剧烈抖动、行人突然从侧面冲出等特殊场景对PDS 的某些性能提出了更高的要求. 例如,对行人突然冲出的场景,系统的处理速度必须要足够快,并且能够对仅部分可见的行人实现准确检测;对雨雪天气场景,系统必须能够对部分遮挡、携带大面积附件的行人进行准确检测,并能克服雨雪天气地面倒影的影响,保持低误报率.
(3) 如何解决新的传感器和信息的加入带来的新问题?
新的传感器和信息的加入,可以扩大单个汽车的“视野”,随之也带来了新的多信息源的同步和融合、通讯等技术问题.
(4) 如何提高系统的自学习能力?
现有的PDS 是针对一定的场景训练完成的,难以适应新的场景检测要求;同时系统没有在不断检测的过程中通过自学习提高性能的能力. 有必要在保证处理效率的前提下,引入合理的增量式学习、在线学习算法.
目前的绝大多数PDS 研究局限于单个汽车环境,配备的传感设备的探测距离有限(目前一般在200m 范围内)。随着无线通信技术的发展,以及车联网（V2V）技术的发展，构建一个行人检测网络成为了一个新的研究方向。PDS 网络系统可以汇总一定范围内的所有汽车的PDS 检测结果，这就相当于扩大了每个PDS 的检测范围，并有助于解决汽车间的相互遮挡问题。