鱼眼相机在自动驾驶环境感知的应用和挑战

球网”（SphereNet）[93] 及其变体 [94]、[95]、[96] 在球面上构建卷积神经网络（CNNs），并且还明确地对畸变不变性进行编码。“球网” 通过调整卷积滤波器的采样位置并将其环绕在球面上以消除畸变的方式来实现这一点。利用基于常规卷积建模的 “球网”，可以将现有的透视卷积神经网络模型迁移到全向场景中。此外，水平和垂直方向上的准畸变表明鱼眼图像并不符合球面投影模型。杨等人 [97] 对多个将等距柱状投影（ERP）序列作为直接输入数据的检测算法的结果进行了比较，结果显示，如果不将等距柱状投影序列投影为常规二维图像，卷积神经网络只能达到一定的准确率。

“鱼眼 YOLO”[14]、[98] 研究了诸如定向边界框、椭圆以及通用多边形等多种表示形式。利用交并比（IoU）指标以及精确的实例分割真实标注，他们对这些表示形式进行了比较。他们提出了一种新的曲线边界框方法，该方法对于鱼眼畸变相机模型来说具有最佳特性，同时还提出了一种曲率自适应周长采样方法来生成多边形顶点，相较于均匀采样，这种方法可将平均精度均值（mAP）分数提高 4.9%。总体而言，所提出的多边形卷积神经网络模型将平均交并比相对准确率提高了 40.3%。

污渍问题：环视相机直接暴露在外部环境中，容易受到污渍沾染。相比之下，前置相机位于挡风玻璃后面，受污渍影响的可能性较小。这一任务最初在 [99] 中被正式定义。污渍区域有两种类型：不透明的（泥土、灰尘、积雪）和透明的（水、油以及油脂）。由于背景可见度有限，透明污渍可能难以识别。污渍会导致感知精度显著下降，因此，对于更高级别的自动驾驶，会采用喷水清洁系统或者更先进的基于超声波的清洁方式。即便相机未被清洁，也需要进行污渍检测，以便在图像质量下降的区域增强视觉算法的不确定性处理能力。由于收集污渍数据比较困难，“脏污生成对抗网络”（DirtyGAN）[100] 提出利用生成对抗网络（GANs）在真实场景上人工生成不同的污渍图案。污渍的边界模糊且界定不清晰，因此人工标注可能会存在主观性且容易产生误差。达斯（Das）等人 [101] 提出了瓦片级污渍分类方法，以处理有误差的标注并提高计算效率。乌里卡尔（Uricar）等人 [102] 提出利用基于集成的伪标签半监督学习方法来自动优化有误差的标注。

从感知角度来看，处理污渍问题有两种方式。一种方式是纳入鲁棒性措施来改进感知算法。例如，萨卡里迪斯（Sakaridis）等人 [103] 提出了一种能识别雾天场景的语义分割方法。另一种方式是对污渍区域进行修复。泥土或水滴通常是静止的，偶尔会有流动水滴的低频动态变化，因此，使用基于视频的修复技术会更有效。波拉夫（Porav）等人 [104] 通过结合使用立体相机和滴水装置来模拟相机镜头上的雨滴，对透明污渍问题进行了探索。这样做是为了自动标注有雨渍的像素，他们还训练了一个卷积神经网络（CNN）来修复有雨渍的区域。乌里卡尔（Uricar）等人 [105] 提供了一个针对环视相机的去污渍数据集基准。他们使用三个不同程度沾染污渍且彼此邻近的相机，以及一个未沾染污渍、可作为真实标注依据的第四个相机。他们实现了一个多帧基准方法，该方法能够随着时间推移利用污渍遮挡区域可见性变化的优势。

太阳眩光检测是与污渍问题密切相关的一项任务。在手动驾驶和自动驾驶中，太阳眩光都是一个典型问题。太阳眩光会导致图像曝光过度，这对视觉感知算法有重大影响。对于更高级别的自动驾驶而言，系统能够识别出存在太阳眩光（这可能会降低系统性能）是至关重要的。关于自动驾驶中太阳眩光检测的文献比较匮乏，其检测方法主要基于图像处理算法来检测饱和亮度区域并提取相关部分。从安全系统的角度来看，需要一种高度鲁棒性的算法。因此，亚希奥伊（Yahiaoui）等人 [106] 创建了两种互补的算法，它们利用传统图像处理技术和卷积神经网络来学习全局上下文信息。

充电板辅助：电动汽车正变得越来越普及，感应式充电板是一种实用且有效的充电方式。然而，由于驾驶员通常很难精确地将车辆对准以实现最佳感应充电，所以理想的解决方案是对充电板进行自动对准。使用环视相机是很理想的，因为这属于近场感知任务，并且可以作为自动泊车系统的扩展功能来实现。达哈尔（Dahal）等人 [107] 提出了一种基于环视相机框架的方法，该方法能自动识别、定位车辆，并使其与感应充电板对齐。充电板的外观设计并不统一，而且往往无法提前识别。因此，采用依赖离线训练的系统偶尔会失效。此后，他们提出了一种自监督在线学习技术，该技术通过利用驾驶员手动将车辆与充电板对齐时的操作，以及弱监督语义分割和深度预测，学习一个分类器来自动标注视频序列中的充电板，以便进行进一步训练。当遇到之前未检测到的充电板时，驾驶员需要手动将车辆对准一次，因为位于地面上的充电板是平的，从远处不容易看到和发现。为了实现从更广泛的范围进行对准，他们提议采用视觉同时定位与地图构建（SLAM）框架来学习相对于充电板的地标。

拖车辅助：拖车常被用于运输产品和娱乐设备。即使对于经验丰富的驾驶员来说，操控带有拖车的车辆（尤其是倒车时）也可能很棘手且令人不愉快。因此，在这些情况下，驾驶员辅助系统就派上用场了。通常会使用单个后视鱼眼相机感知算法来实现相关功能。由于没有针对这一难题的公开可用数据集，所以关于该主题的学术研究相对较少。这促使达哈尔（Dahal）等人 [108] 详细阐述了所有拖车辅助应用场景，并针对拖车感知问题提出了一种基于卷积神经网络（CNN）的解决方案。通过深度学习，他们构建了一个用于拖车检测和铰接角度估计任务的数据集。他们利用高效的卷积神经网络和长短期记忆（LSTM）模型，通过对拖车及其角度进行检测和跟踪，开发出了相关方法并获得了较高的准确率。