华为提出适用于弯道的车道线检测方法 CurveLane-NAS

导读

车道线检测，作为自动驾驶最基础也最重要的任务之一。从传统车道线检测方法到使用深度学习的检测方法，近年也一直是从业人员的热门研究对象。华为诺亚方舟实验室与中山大学近日发表了一个新方法CurveLane-NAS，旨在解决弯道车道线检测问题。同时，还发布了一个车道检测数据集CurveLanes，是目前最大也是最难的车道检测数据集。

1  CurveLanes：车道检测数据集

在车道线检测领域，有很多可供使用数据集。作为参考，总结如下：

·  TuSimple

·  CULane

·  Mapillry

·  Caltech Lanes

·  VPGNet

·  BDD100K

·  ApolloScape

·  DIML

·  Jiqing Expressway

·  DET

·  3D Lane Synthetic Dataset

·  Jiqing Expressway

·  The Lane Marker Dataset

·  A Dataset for Lane Instance Segmentation in Urban Environments

其中TuSimple和CULane是最常用的数据集。TuSimple数据集难度较低，场景多为高速公路；CULane数据集场景多为城区，难度高于TuSimple。

但是，这些数据集中的车道大多为直线车道。TuSimple数据集中只有30％的图像包含弯道，而CULane数据集中仅仅只有约2.1％的图像包含弯道。直线车道的检测任务相对简单，弯道为车道线检测工作提高了难度，尤其远处的弯道很难被识别与检测。而弯道的检测却尤为重要，对于后续工作（如轨迹规划）提供了关键的基础。

因此，此次华为发布的CurveLanes数据集中90%以上都是曲线车道，约包含13万5000张图像（共15万张图像）。为今后曲线车道检测工作提供了一个更具挑战性的基准。



该数据集采用三次样条曲线手动标注所有车道线，包括很多较为复杂的场景，如S路、Y车道，还有夜间和多车道的场景。分为三个部分：训练集10万张，验证集2万张，测试集3万张。分辨率为2650×1440。（下载地址见文末）

2  CurveLane-NAS：曲线车道检测方法

车道线检测一般基于单目摄像头，检测方法可以分为两类：传统图像处理方法和深度学习方法。

传统的图像处理方法非常依赖人工提取特征来检测车道线。其中最常用的是基于颜色和结构的特征，并与霍夫变换相结合，然后再对检测到的线段进行拟合等后处理得到完整车道线。实际的场景会由于光照、阴影等因素而发生变化，引发鲁棒性问题，因此存在许多挑战。

随着机器学习领域的发展，比起人工构建特征，通过数据自动提取特征的方式被证明效果会更好。其中，最常见是基于CNN的方法（例如SCNN和Line-CNN等）。SCNN等方法通常采用密集预测公式，即将车道检测视为语义分割任务，图像中的每个像素都分配有标签以指示其是否属于车道线，具有较重的编码器-解码器结构。但是有些方法通常需要事先预设好车道数，或是一般使用较小的输入图像，这就导致这些方法很难预测曲线车道远处的部分。Line-CNN等方法基于候选区域，通过预测多个候选锚点或线段可以摆脱低效的解码器和事先预设的车道数。但是，由于基于候选区域，它们对曲率时刻变化的弯道捕捉不够灵活。

在论文《CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending》中，华为与中大提出了一个名为CurveLane-NAS的新方法，是一种简单而有效的多目标搜索算法，为每个特征层准确分配具有合理感受野和空间分辨率的计算，旨在高效性和准确性之间达到最佳平衡。



NAS（网络结构搜索）简单来讲就是定义网络结构参数的自动调优。先定义搜索空间，然后通过搜索策略找出候选网络结构，对它们进行评估，再根据反馈进行下一轮的搜索。网络结构搜索策略有很多，包括基于强化学习的方法，基于进化算法的方法，基于梯度的方法等。CurveLane-NAS基于进化算法，设计了一个搜索空间和基于样本的多目标搜索算法，来解决曲线车道的检测问题。

该算法包括三个模块：弹性骨干搜索模块、特征融合搜索模块和自适应点混合模块，如上图所示。弹性骨干搜索模块用于在多尺寸特征图上分配不同的计算量。该研究设计了“弹性”的搜索空间，在原来的ResNet18/50中，将通道大小块加倍的位置固定在每个阶段的开始。这样在搜索过程中，无需使用预先训练的ImageNet模型，即可从头开始以大批量对模型进行良好的训练。特征融合搜索模块用于为更好得融合多级特征间的不同信息。对于车道线检车来说，前期的特征通过其局部图案包含更准确的短距离曲线信息，而后期的特征可以捕捉到远距离的相干车道信息。自适应点混合模块用于搜索新颖的多级后处理细化策略，以结合多级Head预测，并允许对形状变化和远方车道进行鲁棒性更高的预测。在Line-NMS的基础上，考虑多层次特征预测问题，使用点混合技术进行车道敏感的预测。



3  总结

虽然CurveLane-NAS是为曲线车道设计的算法，但在97%以上都直线车道的数据集CULane上表现依然非常良好。在华为发布的新数据集CurveLanes上，现有的算法如SCNN和SAD的性能却有所下降，而CurveLane-NAS的表现十分优秀，与现有的算法相比，实现了准确性和高效性的平衡。

论文：CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending
作者：Hang Xu, Shaoju Wang, Xinyue Cai, Wei Zhang, Xiaodan Liang, Zhenguo Li
链接：https://arxiv.org/abs/2007.12147
数据集CurveLane下载链接：https://github.com/xbjxh/curvelanes

参考信息：
https://arxiv.org/abs/2007.12147
https://github.com/xbjxh/curvelanes
https://github.com/amusi/awesome-lane-detection
https://blog.csdn.net/jinzhuojun/article/details/84698471