一种基于ACP理论的平行车道线检测方法 能有效解决目前车道线检测的困境

 一种基于ACP理论的平行车道线检测方法，能有效解决目前车道线检测的困境

过去，车道线检测性能多依赖于人工视觉验证的方法。然而这种方法不能客观量化车道线检测系统的性能。同时，由于车道线检测系统的复杂性，不同的硬件与算法，不同的数据采集方式和采集环境（天气，道路）等，都会影响测试结果。因此，目前尚没有一种统一的车道线评价方法。本文介绍了一种基于ACP平行视觉理论的车道线检测系统设计，将有效地解决车道线性能评价和测试问题，实现精确且稳定的车道线检测。
车道线检测前瞻：算法，集成，评估，以及基于ACP平行视觉理论的车道线检测系统设计

邢阳1,2，吕辰1，陈龙3，王化吉1，王红4，曹东璞4，EfstathiosVelenis 1，王飞跃5
1. 英国克兰菲尔德大学航空航天、运输和制造学院
2. 青岛慧拓智能有限公司
3. 中山大学数据科学与计算机学院
4. 加拿大滑铁卢大学机械工程学院
5. 中科院自动化研究所复杂系统管理与控制国家重点实验室

Advances in Vision-based Lane Detection: Algorithms, Integration, Assessment, and Perspectives on ACP-based Parallel Vision

Yang Xing, Chen Lv, Member, IEEE, Long Chen, Huaji Wang, Hong Wang, Dongpu Cao, Member, IEEE, Efstathios Velenis, Fei-Yue Wang, Fellow, IEEE

1 引言

研究发现，交通事故大多由驾驶员人为因素造成，例如驾驶员注意力不集中，错误判断与执行[1]。车道线检测技术是高级驾驶员辅助系统 (ADAS) 中至关重要的功能，并促成了自动车道偏移预警与车道保持等系统[2]-[3]。车道线的检测精度与稳定性是车道线检测技术的两个重要性能指标。车道线检测系统应该具有评估检测结果并识别不合理检测的能力[4]-[5]。对于传统车来说，当发现不合理的车道线检测结果应及时示意驾驶员注意当前路况。对于具有ADAS或自动驾驶功能的汽车，汽车要负责对检测结果进行评估，应保证在没有驾驶员参与的情况下做出安全的行驶策略。

如何提高车道线检测技术的可靠性以应对复杂多变的行车环境是目前所面临重要的挑战。采用数据融合与功能融合可以有效构造准确且稳定的车道线检测系统。功能融合是指将多个检测功能相结合，如将道路可行区域检测与车辆检测技术融合进来。数据融合利用激光雷达，GPS等设备来弥补摄像头的不足，进而提高车道线检测的精度及稳定性[4]。同时，本文在论述了多种传统车道线检测系统的评价方法之后。针对现有方法在性能与评估方面的不足，提出一种基于ACP平行视觉理论的平行车道线检测方法。平行车道线检测方法利用人工平行系统提供海量数据，将有效弥补传统车道线检测算法因数据不足所造成的无法充分训练与评估的缺陷。

2 基于视觉的车道线算法概述

2.1 车道线检测基本过程

基于视觉的车道线检测技术主要包含图像预处理，车道线检测与追踪三个过程，如图1。最常见的图像预处理技术有感兴趣区域提取，消失点检测，图像灰度化，噪声处理，逆透视变换，图像分割和边缘检测等。车道线特征主要包括其颜色和边缘等信息。当车道线被识别和建模后，为了提高车道线的实时检测精度和稳定性，车道线模型参数可以利用跟踪算法进行滤波以提高车道线的检测精度和稳定性。



图1. 基本车道线检测过程

2.2 传统车道线检测算法

基于视觉的车道线检测技术可分为两类：基于特征的检测方法[9]-[19]与基于模型的检测方法[20]-[29]。基于特征的车道线检测算法利用车道线的颜色、纹理与边缘等特征进行检测。文献[10]利用车道线像素点强度与边缘特征，通过自适应阈值的方法检测车道线。文献[11]利用车道线的空间特征和霍夫变换进行车道线检测。文献[12]利用粒子滤波器识别车道线。文中指出，严格的车道线模型在实际运用中难以满足稳定性要求。基于粒子滤波的车道线检测算法无需对车道线进行精确建模，只需要通过车道线特征跟踪即可获得良好效果。文献[13]将RGB彩色图片变换为YUV格式，利用车道线边缘与车道线宽度进行车道线检测。文献[14]通过将彩色图片变换到HSV格式以增强车道线色彩的对比度，进而根据像素点强度完成车道线检测。文献[16]给出一种基于频域特征的车道线检测方法。综上所述，基于特征的车道线检测算法更加直接，也较为简便，适合车道线清晰的场景。然而，基于特征的车道线检测算法难以应对车道线复杂或可视条件不好的场景下。

基于模型的车道线检测算法通常将将车道线假设为直线模型，抛物线模型，或高阶曲线模型。除此之外还需要对道路的假设，例如道路应该是平坦且连续的。文献[21]提出一种可以拟合任意形状车道线的B-Snake模型。文献[22]将该模型进一步改进，变为一种平行snake模型。文献[23]将车道线模型分为两部分，近视野端为直线模型，远视野端曲线模型利用B-snake拟合。[25]提出一种基于霍夫变换，RANSAC以及B-Spline的集成车道线检测方法。首先利用霍夫变换粗略检测，之后再利用RANSAC和B-spline模型进一步拟合。文献[33]给出了一种基于RANSAC模型拟合的多段车道线自动切换建模的方法。基于模型的车道线检测方法通常比基于特征的方法更加稳定和精确，同时利用滤波算法估计模型参数也更加简便。但是，基于模型的方法通常也需要更多的计算需求来拟合出模型参数。

2.3 基于机器学习的车道线检测算法

近年来，深度学习技术被广泛应用于图像识别、分割、与物体检测。文献[36]指出，深度卷积网络可以显著的将车道线检测精度提高到90%以上。文献[37]提出一种基于深度卷积网络与循环神经网络的车道线检测方法。卷积神经网络负责判断每副图片是否包含车道线，并输出车道线的位置与走向。循环神经网络负责识别视频中的车道线结构，可以有效识别出被周围车辆或物体所遮盖的车道线。文献[38]利用卷积神经网络对来自两个侧视摄像头的图像进行处理，利用真实图像与合成图像训练端到端的车道线检测算法。文献[41]采用前视与俯视图像结合的方法，将两类图像利用不同的卷积网络分别处理，最后利用全局策略依据车道线物理特性做出预测。除此之外，研究人员也开发了基于进化和启发式算法的车道线搜索方法。文献[42]提出一种受驾驶员行为启发的置信度网路和多机构检测模型。文献[43]提出基于蚁群算法的最优化车道线搜索方法。文献[44]给出了一种基于随机游走模型的多车道检测方法。使用基于马尔科夫概率矩阵的有向随机游走算法连接候选车道线特征。综上所述，基于机器学习与智能算法的车道线检测算法已经体现出较传统方法更强大的性能。虽然基于学习的方法对车载控制器的计算性能要求更多，但是随着硬件系统的不断升级，基于机器学习的检测算法将会因其强大的计算能力而成为主要的车道线检测方法。

3 车道线检测的集成方法

3.1 集成方法概述

车道线检测系统的稳定性和适应性是真正制约车道线系统应用的核心问题。对于汽车企业来说，单一的外部环境传感器不足以提供安全有效的环境感知。像Tesla, Mobileye和Delphi公司等都采用传感器融合的方法（摄像头，激光雷达，毫米波雷达等）来提高车辆对周围环境感知的能力。本文回顾了传统车道线集成的方法，并将其分为算法层集成，系统级集成以及传感器层集成，如图2。

3.2 算法集成方式
传统算法层集成主要有串行和并行两种结构。串行集成方法较为常见[20][21][25]。如文献[25]将霍夫变换，RANSAC算法和模型拟合依次用于车道线检测，逐步提高检测精度。另外，许多文献也使用在车道线检测模块之后加入跟踪算法的串行结构提高车道线检测精度[21][22][45]-[47]。文献[50][51]给出了并行车道线检测的方法。文献[50]提出将两个相对独立且方法不同的车道线检测算法并行运行。通过对比两个检测结果判断合理的车道线位置。如果两种不同算法给出了相似的结果则视为当前车道线检测合理。相较而言，虽然并行集成引入冗余算法提高了检测精度，但是提高了系统运算量，降低了系统的实时性。

3.3 系统集成方式

现实道路中的障碍物很有可能影响车道线检测精度。例如，护栏就因具有较强的类车道线特征极易造成车道线的误检测[54]-[56]。因此，将车道线检测系统与其他障碍物检测有机结合有利于提高车辆的整体环境感知能力。临近车辆也会因为相似的颜色、遮挡或阴影问题带来车道线误检测。文献[30][57]-[60]指出，前车检测有利于区分车道线与车辆阴影以及降低车辆遮挡影响，可以提高车道线检测精度。道路标志与道路可行区域检测也可以提高车道线检测精度[4][7][66]-[68]。Tesla与Mobileye也都提出道路识别可以增强车道线检测的稳定性[69][70]。通常道路检测先于车道线检测，准确的道路检测可以优化感兴趣区域的选择，提高车道线检测效率。另外，因为道路边界与车道线有相同走向，道路检测可以辅助车道线置信度评估系统完成对所检测车道线的验证。

3.3 传感器集成方式

传感器融合方法可以最大程度上提高车道线检测系统的精度和稳定性。文献[76]通过RADAR检测周围车辆来精确划分车辆边缘像素获得只含有车道线的道路图片。文献[77][78]结合GPS 和道路图像，利用GPS获得道路形状，边缘和走向以优化车道线检测算法。激光雷达具有高精度，大范围的环境感知能力，因此，将激光雷达与摄像头结合，可以弥补摄像头系统的不足。激光雷达可通过道路与车道线标志的不同反射效应来获得车道线位置[88]。文献[89]利用激光雷达探测前方障碍物以获得精确的可行区域作为车道线检测的依据。文献[56]给出一种基于多摄像头与激光雷达融合的方法检测城市道路车道线。虽然传感器融合的方法比以上两种方法更加精确，然而，传感器之间需要复杂的标定过程，同时，硬件系统的增加也提高了系统成本。



图2. 车道线检测的集成方法

4 车道线检测的评价方法

过去，检测性能多依赖于人工视觉验证的方法。然而这种方法不能客观量化车道线检测系统的性能。同时，由于车道线检测系统的复杂性，不同的硬件与算法，不同的数据采集方式和采集环境（天气，道路）等，都会影响测试结果。因此，目前尚没有一种统一的车道线评价方法。本节探讨了影响车道线系统精度的各种因素，并总结了车道线检测系统评估框架，如图3。将车道线评价算法分为两类在线评价和离线评价两类。



图3. 车道线系统评价体系

4.1 车道线系统精度的影响因素

车道线检测系统精度通常受限于多种因素。在高速道路上精确的车道线系统不能保证在市区环境也有效，因为市区交通状况和车道线标识更加复杂。因此车道线系统性能需要综合评价，而不是只考虑某一指标。如表1，车道线评价系统需要考虑尽可能多的影响因素。最理想的检测方式是采用统一的检测平台和量化指标，然而这在现实情况下难以实现。



4.2 离线检测方法

基于图片和视频数据的离线检测是常用的车道线检测方法。著名的开放数据集有KITTI和Caltech Road[7][25]。图像数据集更易发布，但需要在每张图片上人工标注出车道线位置。人工标注需要消耗大量的时间，不适合大规模数据集。同时，图片无法有效反应行车环境与综合衡量车道线算法。基于视频数据的评价方法则更能反应真实的行车环境和算法性能。然而这也显著提升了数据标注的难度。对此，文献[95]给出一种半自动视频标注的方法，截取每帧中固定的几行，按照时间顺序和行序连成时序图片，通过在时序图片上标注车道线像素点较为准确的还原视频中车道线的位置。学者们还提出基于人工生成场景的车道线评估方法[28][56]，通过仿真软件自动产生带有标注的类似真实道路环境的图像。

4.3 在线评价方法

车道线在线评价的方法通常通过融合其他检测系统或传感器来综合评价车道线检测结果的置信度。通过道路检测得到的道路几何信息有利于实时检测车道线的合理性。文献[96]提出一种实时车道线检测算法，该算法采用车道线斜率，道路宽度和消失点三个指标计算车道线检测结果的可信度。文献[5]利用车辆侧方安装摄像头的方法，为车道线检测结果提供真实的参考位置。此外，文献[56]利用摄像头与激光雷达建立车道线检测置信度概率网络。文献[56][77]提出利用GPS，Lidar和高精度地图的方式，通过所获得的道路宽度与方向作为检测车道线的指标。文献[97]提出利用消失点、道路旋转信息和建立帧间相似度模型的方法检测车道线的连续性。

4.4评价指标

传统车道线评价指标多基于主观观测的方法，尚没有形成一种统一有效的车道线系统测试指标。文献[98]设计了一个完善的智能车评价系统，该方法主要侧重于评价车辆的整体智能化程度。文献[20]提出车道线检测系统应该满足以下五点要求：克服道路阴影，可应对无明显车道标识的道路，可识别曲线道路，满足车道线形状约束以及稳定监测。文献[101]提出，车道线系统性能评价不能局限于检测率，应该采用检测值与真实值误差的方差及变化率，平均绝对值误差作为性能评价指标。文献[102]进一步提出五种评价指标，分别是：车道线特征测量精度，本车自身定位，车道线位置变化率，计算效率及精度，累计时间误差。

5 基于ACP平行理论的车道线检测系统

由于无法有效模拟各种真实场景和环境，车道线检测性能在未知场景下难以预测。虽然建立在线评价与置信度估计系统可以实时评价当前检测结果的正确性。当发现有不合理的检测结果时，可以及时通知驾驶员应对当前问题。然而，这还不足以完全解决车道线检测算法在设计与评价方面所面临的问题。

为解决这类问题，本文提出基于ACP平行理论的车道线检测系统设计框架。平行理论是先进控制理论和计算机仿真系统的产物。平行控制理论首先由王飞跃研究员提出并已成功应用到各类复杂系统控制与管理领域[105]-[107]。建立平行系统的主要目的是连接现实世界与一个或多个人工社会以解决解决模型建模和测试困难问题。建立平行系统依赖于ACP理论支持。ACP（ArtificialSociety, Computational Experiments, Parallel Execution）由人工社会，计算实验，和平行执行三部分组成。首先对一个复杂系统进行整体建模，在计算空间形成一个对现实系统的虚拟映射。之后利用计算实验在人工社会中对系统进行大量的仿真实验，使得虚拟系统可以面对在现实世界中较少或难以出现的场景。通过大量的实验计算，获得较为完善的系统模型和控制方法，并将模型参数反馈到现实物理层。最后，在现实世界和人工社会平行运行和测试该复杂系统使之不断完善，最终使难以建模的复杂系统得到良好控制。基于ACP平行理论，文献[109]给出了平行视觉系统的构建方法。通过利用计算机仿真软件建立与现实世界相似的人工场景，利用高性能计算平台解决计算机视觉问题。

将车道线检测系统引入平行视觉框架，本文设计了平行车道线检测系统框架，如图4。首先利用仿真软件建立类似真实世界的虚拟交通环境。之后通过计算实验，将大量计算机标注过的道路图像和有限的现实图像结合起来，训练和验证高精度的车道线检测模型。最后，在平行执行阶段，通过不断的在虚拟世界和现实世界中的测试，将结果反馈给车道线检测模型，利用在线学习和自我优化实现安全稳定的车道线检测系统。将车道线检测引入ACP平行视觉框架，利用平行系统模拟所产生的各种环境下的标注数据，将有效解决车道线检测系统评价与测试这一困境，彻底实现车道线系统的完整测试，使之更加安全稳定，并更好的应对现实世界中的突发情况。



图4. 基于ACP理论的平行车道线检测方法

6 结论

本文在算法，集成，和测试三方面论述了车道线检测技术的发展。整体而言，车道线检测算法可分为基于传统计算机视觉和机器学习两种方法。作为可以有效提高车道线检测精度与稳定性的技术手段，车道线检测的集成方法又分为算法层集成，系统功能层集成和信号层集成。通过分析现阶段车道线系统性能评价与测试的局限性，本文提出了基于ACP平行理论的平行车道线检测系统设计方法。平行车道线检测技术将有效地解决车道线性能评价和测试问题，实现精确且稳定的车道线检测。