自动驾驶中视觉感知ISP调参综述及实证分析

本文作者为Valeo Vision Systems相关研发团队 Lucie Yahiaoui Jonathan Horgan Brian Deegan Senthil Yogamani Ciarán Hughes 和Patrick Denny

小明师兄翻译

摘要

图像质量在供人类观看的应用中是一个广为人知的概念，尤其在多媒体领域，而且在汽车领域其重要性也日益凸显。自动驾驶和计算机视觉的兴起，使得图像质量对摄像头感知中诸如识别、定位及重建等任务的影响方面的研究备受关注。尽管计算机视觉中 “图像质量” 的定义可能并不明确，但明确的是图像信号处理流水线的配置是控制计算机视觉图像质量的关键因素。本文兼具综述和观点阐述性质，并展示了一些有望助力未来研究的初步成果。因此，我们概述了图像信号处理器（ISP）流水线是什么，描述了一些典型的汽车计算机视觉问题，并通过一些实验结果简要介绍了图像信号处理参数对计算机视觉性能的影响。本文探讨了利用计算机视觉性能指标作为成本度量来自动调整 ISP 参数的优点，从而避开了明确界定计算机视觉中 “图像质量” 含义的必要。由于缺乏用于开展 ISP 调优实验的数据集，我们在视觉算法处理前应用了诸如锐化之类的代理算法。我们使用经典算法（AKAZE 算法）以及一种用于行人检测的机器学习算法进行了这些实验。我们获得了令人鼓舞的结果，例如通过调整锐化技术参数，行人检测准确率提高了 14%。我们希望这能鼓励创建此类数据集，以便对这些主题进行更系统的评估。

关键词：图像信号处理；计算机视觉；自动驾驶；定位；重建；识别

引言

图像和视频质量的基本概念在消费电子产品中已被充分理解，尤其在多媒体领域 [1]，并且是标准化的主题 [2,3]。传统上，图像质量等同于 “感知质量” 和 “自然度”，或者说现实世界的再现忠实程度如何满足观看者的期望。多媒体内容压缩算法的发展推动了定义和测量感知图像及视频质量方面的诸多进展。在汽车领域，“高质量” 的含义并非那么简单明了，目前尚无单一明确的定义 [4,5]。而且视频对于两种截然不同的应用是必需的：向驾驶员展示（例如，后视和多摄像头环视监控）以及用于高级驾驶辅助系统的计算机视觉。在迈向自动驾驶平台的过程中，这一点尤为重要，因为摄像头系统是一种多样且关键的感知传感器，能够提供车辆周围环境的结构、语义和导航信息。因此，包括深度学习在内的计算机视觉算法性能有望较以往系统有显著提升。最初，汽车环视鱼眼摄像头是辅助驾驶员的视觉系统的一部分。在自动驾驶应用中，此类摄像头对于近场监控正变得非常重要 [6]。这些不同的应用需要不同的场景特征以实现最佳性能。对一种应用而言构成 “高质量” 的概念不一定等同于对另一种应用的 “高质量” 概念。因此，尽管针对单色系统基于检测 / 定向 / 识别 / 辨认的约翰逊准则已有一些基础工作被提出 [7]，并由 [8] 进一步阐述，但专门针对计算机视觉的图像质量方面的现有文献相较于针对人类视觉图像质量的文献较为稀少，这一点已被例如 [9,10] 所强调。这促使人们去探寻摄像头及处理系统中提升计算机视觉效率和性能的机会。

将来自图像传感器的原始信号转换为可观看的格式涉及多个步骤，如去马赛克、去噪和伽马控制等，这些统称为图像信号处理（ISP）。ISP 通常由硬件引擎完成，这些硬件引擎要么位于传感器内部，要么作为独立芯片，要么集成在主片上系统（SoC）内。由于图像分辨率、位深、帧率、曝光次数（高动态范围，HDR）以及处理步骤数量等因素驱动的处理任务量巨大，专用硬件是必需的。例如，大多数彩色图像传感器采用拜耳彩色滤光片，为了获得可用 / 可观看的图像（例如全 RGB 或 YUV 图像），在去马赛克这一过程中进行去拜耳处理是必要的。然而，ISP 的若干步骤旨在为观看应用的终端用户提供高度静态的视觉性能，例如在传统的环视应用中。对于基于计算机视觉的应用而言，这可能是不必要的，甚至会适得其反。

计算机视觉研究人员，尤其是学术界的人员，通常使用公开可用的数据进行开发、训练和验证，因为定制数据获取难度大且成本高。硬件设置通常由现成的成像系统构成，其板载 ISP 可重新配置性很低甚至没有，并且通过 USB 或以太网接口来捕获 YUV 或 RGB 图像。因此，并不总是能够捕获到原始的 ISP 处理前的图像数据。这通常使得计算机视觉研究人员无奈地忽略了 ISP 的影响。然而，ISP 很可能对计算机视觉算法性能有着非常重大的影响。这对于自动驾驶应用尤为关键，因为在这类应用中必须使传感器和算法的性能最大化。

在本文中，通过对 ISP 领域、汽车计算机视觉以及自动调优方面进行综述，我们旨在探讨使用计算机视觉性能成本度量来自动调整 ISP 参数的优点。通过在视觉算法处理前使用诸如锐化之类的 ISP 代理算法，我们提供了一些证据来支持这是一个重要主题的观点。除了解释该主题的重要性之外，另一个目标是鼓励研究界创建数据集，以便对这些主题进行更系统的评估，这样就能彻底研究 ISP 链条中每个组件对计算机视觉的影响的所有细节。本文其余部分结构如下：第 2 节简要概述 ISP 处理模块、ISP 调优以及计算机视觉算法。由于它们属于跨学科主题，这将为这些领域之一的专业人员提供必要的背景知识。第 3 节展示初步结果并进行分析，同时使用了经典计算机视觉算法（AKAZE 算法）以及一种用于行人检测的机器学习算法。第 4 节讨论调优算法和双 ISP 流水线，这是一种硬件选项，能够在不冲突的情况下针对计算机视觉和人类观看应用对 ISP 进行特定的调优。最后，第 5 节对本文进行总结并得出结论。本文在作者之前的会议论文 基础上进行了大幅扩展。