广告
鱼眼相机在自动驾驶环境感知的应用和挑战
图 13. 鱼眼图像的去畸变：（a）直线校正；（b）分段线性校正；（c）圆柱面校正。左：原始图像；右：去畸变后的图像。其主要优点在于建筑物上的垂直线条表明垂直物体在校正后依然保持垂直 [81]。因此，扫描线得以保留，以便在两个连续的鱼眼图像（运动立体视觉）之间或者在鱼眼相机与窄视场角相机（非对称立体视觉）之间针对立体算法进行水平搜索。其主要缺点是它本身无法捕捉到靠近车辆的近场区域。这可以通过使用一个额外的平滑曲面来覆盖近场区域加以解决。此外，附近物体的畸变也会增大。
四、感知任务
由于数据集有限，关于鱼眼图像感知任务的文献相对较少。我们将感知任务分为语义任务、几何任务和时间任务。最后，我们将讨论联合多任务模型。
A. 语义任务
在本节中，我们将讨论基于外观模式识别的语义任务。
语义分割：这是一个为图像中的每个像素分配类别标签（如行人、道路或路缘石等）的过程，如图 14（第二列）所示。与基于经典计算机视觉方法应用于针孔前置相机的语义分割相比，基于卷积神经网络（CNN）的方法近来取得了很大成功 [82]。然而，在城市交通场景中，自动驾驶汽车需要更宽的视场角来感知周边情况，特别是在十字路口处。邓等人提出了一种重叠金字塔池化模块（OPP - Net）[83]，通过采用多种焦距生成带有各自标注的各种鱼眼图像。OPP - Net 在一个现有的城市交通场景数据集上进行了训练和评估。
鱼眼图像语义分割数据集。此外，为提高模型的泛化性能，[83] 提出了一种新颖的缩放增强技术，专门针对鱼眼图像来扩充数据。大量实验表明了缩放增强技术的有效性，并且 OPP - Net 在城市交通场景中表现良好。塞斯（Saez）等人 [84] 引入了一种实时语义分割技术，它是对高效残差分解网络（ERFNet）[85] 针对鱼眼道路序列的一种适配，并基于 “城市景观”（CityScapes）[86] 为鱼眼相机生成了一个新的语义分割数据集。测试是在真实的鱼眼图像序列上进行的，不过由于没有真实标注信息，只展示了定性结果。
邓等人 [87] 利用环视相机来处理 360 度道路场景分割问题，因为环视相机已在量产车辆中被广泛采用。为应对鱼眼图像中的畸变问题，他们提出了受限可变形卷积（RDC）。通过基于输入特征图学习卷积滤波器的形状，它能够实现有效的几何变换建模。此外，作者们还提出了一种缩放增强技术，用于将透视图像转换为鱼眼图像。这有助于创建大规模的环视相机图像训练集。还开发了一种基于 RDC 的语义分割模型。通过结合真实世界图像和转换后的图像，采用多任务学习（MTL）架构对真实世界的环视相机图像进行训练。这些模型在 “城市景观”（Cityscapes）[86]、“鱼眼城市景观”（FisheyeCityScapes）[88] 和 “合成场景”（SYNTHIA）[89] 数据集上进行训练，并在真实的鱼眼图像上进行测试。
克莱门特（Clément）等人 [90] 着重表明可变形卷积可以应用于现有的卷积神经网络之上，而无需改变其预训练权重。这对依赖多种图像模态的系统有所帮助，因为现在每个模型都可以可靠地进行修改，无需从头开始重新训练。他们还证明了可变形组件可以独立训练（不过如果进行微调，建议使用批量归一化）。作者们还指出，不再需要大量带有标注的鱼眼图像数据集。在学习了可变形组件之后，无需微调网络权重就能实现高性能。
姚祖（Yaozu）等人 [88] 提出了一种 7 自由度（DoF）增强技术，用于将直线透视图像转换为鱼眼图像。它包含了世界与鱼眼坐标系之间的空间关系（6 自由度）以及虚拟鱼眼相机的焦距变化（1 自由度）。在训练阶段，直线透视图像会被转换为具有 7 自由度的鱼眼图像，以模拟由位置、方向和焦距各不相同的相机所拍摄的鱼眼图像。这在处理畸变的鱼眼数据时提高了模型的准确性和鲁棒性。7 自由度增强技术为鱼眼相机的语义分割提供了一种通用解决方案，也为自动驾驶的图像增强提供了明确的参数设置，并创建了 “鱼眼城市景观”（FisheyeCityScapes）[88] 数据集。
图14。来自森林景观数据集[2]上的OmniDet框架的原始鱼眼图像的定性结果。第一列表示来自前、左、右、后摄像机的输入图像，第二列表示距离估计，第三列表示语义分割图，第四列表示广义目标检测表示，第五列表示运动分割。
目标检测：鱼眼图像中的目标检测受径向畸变的影响最为严重。由于鱼眼图像形成过程中固有的畸变，与光轴成不同角度的物体看起来差异很大，这使得物体检测变得困难（见图 14）。矩形边界框往往并非物体大小的最佳表示方式，有时其面积仅是标准边界框的一半，而有时该边界框本身的面积又会是目标物体实际面积的两倍。实例分割能够提供物体的精确轮廓，但对其进行标注的成本要高得多，而且还需要一个边界框估计步骤。校正能带来显著益处，但也存在第三节所讨论的副作用。
“鱼眼检测”（FisheyeDet）[91] 强调了构建一个有用数据集的必要性。他们通过对帕斯卡视觉对象分类（Pascal VOC）数据集 [92] 施加畸变，创建了一个模拟鱼眼数据集。四边形表示以及畸变形状匹配有助于 “鱼眼检测” 的实施。此外，还提出了无先验鱼眼表示法（NPFRM）来提取不使用镜头模式和校准模式的自适应畸变特征，同时还提出了畸变形状匹配（DSM）策略，以便在鱼眼图像中紧密且稳健地定位物体。他们利用由畸变物体轮廓形成的不规则四边形边界框，通过将其与无先验鱼眼表示法和畸变形状匹配策略相结合，创建了一个端到端的网络探测器。
广告 
广告
编辑推荐
最新资讯
-
R10规定的汽车零部件窄带电磁辐射测量方法
2025-01-10 14:06
-
新能源汽车透明底盘简介
2025-01-10 14:06
-
关于公布内燃机与动力系统全国重点实验室20
2025-01-10 13:51
-
R10规定的汽车零部件宽带电磁辐射测量方法
2025-01-09 13:00
-
纯电动车电机悬置选型与布置要点解析
2025-01-09 12:58
广告
广告
