广告
鱼眼相机在自动驾驶环境感知的应用和挑战
摘要 —— 环视鱼眼相机常用于自动驾驶中的近场感知。车辆四周的四个鱼眼相机足以覆盖车辆周边 360 度范围，捕捉整个近场区域。一些主要应用场景包括自动泊车、交通拥堵辅助以及城市驾驶。由于汽车感知领域的重点在于远场感知，所以针对近场感知任务的数据集有限，相关研究工作也很少。与远场不同，由于环视感知对物体检测精度要求达到 10 厘米且物体存在部分可见性问题，它带来了额外的挑战。由于鱼眼相机存在较大的径向畸变，标准算法无法轻易扩展应用于环视场景。因此，我们有动力为汽车鱼眼相机感知领域的研究人员和从业者提供一份完备的参考资料。首先，我们对常用的鱼眼相机模型进行了统一的分类处理。其次，我们讨论了各类感知任务以及现有相关文献。最后，我们探讨了面临的挑战及未来发展方向。
关键词 —— 自动驾驶、全向相机、鱼眼相机、环视感知、鸟瞰感知、多任务学习
一、引言环视系统利用带有重叠区域的网络来覆盖车辆周围的近场区域。图 1 展示了典型环视系统的四个视图，以及典型泊车应用场景示例。在这种近场感知中会使用超过 180 度的广角视图。任何感知算法都必须考虑此类相机系统固有的明显鱼眼畸变问题。这是一项重大挑战，因为计算机视觉领域的大部分工作都侧重于径向畸变小的窄视场相机。不过，随着此类相机系统得到更广泛的部署，该领域已经有了相关研究工作。本文旨在为读者概述环视相机（例如成像、配置和校正方面），综述现有技术水平，并深入剖析该领域当前面临的挑战。
图 1. 典型汽车环视系统示意图，该系统由位于车辆前部、后部以及两侧后视镜处的四个鱼眼相机组成（上图）。下图展示了覆盖车辆周边 360 度的近场情况
。图中较小的方框内还展示了通过拼接四个相机画面为驾驶员提供的环视可视化效果。
理论上，针孔相机的视场角为 180 度。然而在实际中，由于光圈和成像器尺寸的实际限制，视场角很难超过 80 度，如图 2（上图）所示。鱼眼镜头通常用于将视场角有效增大到 180 度或更大。值得注意的是，“鱼眼” 这个术语有点用词不当，如图 2（下图）所示。由于光线在水和空气表面交界处发生折射而弯曲，将近 180 度的大视场角被压缩到了近 100 度的小视场角。游泳的人也会观察到同样的现象，这与鱼眼的光学原理并无关联。鱼眼相机的发展有着悠久的历史。伍德在 1908 年最先创造了 “鱼眼” 这个术语，并制造了一台简易的鱼眼相机 [1]，最近发布的汽车鱼眼视频数据集 “伍德景观”（WoodScape）在命名时就认可了这一事实 [2]。邦德 [3] 用半球形镜头取代了这种水基镜头，鱼眼相机的光学发展由此开始。宫本 [4] 早期对鱼眼相机几何畸变建模提出了见解，建议使用等距、球极平面投影等方法。
图 2. 鱼眼透视示意图
广告 
广告
编辑推荐
最新资讯
-
新能源驱动电机电磁设计与NVH
2025-01-07 07:42
-
R10规定的车辆窄带电磁辐射测量方法
2025-01-07 07:41
-
加州重型车辆“（Omnibus）低氮氧化物法规
2025-01-06 21:35
-
条例解读｜以道路应用试点为抓手，北京立法
2025-01-06 21:34
-
标准立项 | 《乘用车智能底盘矢量及舒适加
2025-01-06 21:33
广告
广告
