自动驾驶中视觉感知ISP调参综述及实证分析

背景

在此我们提供一些关于 ISP 架构和计算机视觉的背景知识，目的是让读者具备足够的背景知识来理解本文的其余部分。

2.1. ISP 影响及调优的相关工作现代汽车机器视觉系统的发展并非一帆风顺。从本质上讲，汽车摄像头走了两条截然不同的路线，一条是向用户提供图像，另一条是为诸如高级驾驶辅助系统（ADAS）之类的应用提供机器视觉输入。原始设备制造商（OEM）的需求导致这两条路径融合，因为他们期望同一摄像头系统能够兼顾这两方面。这意味着不同系统的关键性能指标（KPI）汇聚到了一个通用平台上。这带来了诸多挑战，因为这将属于心理物理学领域的视觉图像质量性能指标与传统的计算机视觉关键性能指标结合在了一起。

汽车领域视觉关键性能指标的作用及发展在其他文献中已有阐述，但视觉感知的语义并不容易简单阐释，于是就有了 “图像质量应该是 FUN” 这一准则，其中 FUN 是保真度（Fidelity）、实用性（Utility）和自然度（Naturalness）的首字母缩写，因为在与人类用户打交道时，这三类是最常被提及的。保真度通常通过测量成像系统的调制传递函数（MTF）来体现，实用性通过分辨与观看者相关物体的能力来体现，自然度则通过向观看者提供直观的世界视觉呈现的能力来体现。

视觉关键性能指标经历了三个不同步骤的循环发展。首先，传统的组件级指标被应用于相应组件的信号；本质上是借鉴了传统光学和电子学中的测量方法。这些指标包括镜头系统的调制传递函数（MTF）以及传感器信号的信噪比。然而，这些指标仅能针对极端值提供关于图像质量的直观判断（例如，高 MTF50 意味着图像很清晰，低 MTF50 意味着图像模糊）；它们在组件选择方面表现良好，但在中期视觉评估中作用不佳（例如）。第二种方法是创建复合关键性能指标，它们是输入图像中简单特征的多元函数。这些指标借鉴了传统特征检测或图像压缩指标方面的研究成果 。它们包括通用质量指数 、结构相似性（SSIM）、多尺度结构相似性（MS-SSIM）、信息保真度准则（IFC）、视觉信息保真度（VIF）、视觉信噪比（VSNR）、特征相似性（FSIM以及显著加权质量指标。“无参考” 技术在评估图像时无需无畸变的参考图像，在实时系统中更受青睐，但也面临着许多与参考技术相同的问题，这些问题阻碍了对指标测量结果的通用解释。

第三种方法是以科学实施的评审团测试形式进行视觉心理物理学测试 。出现这种情况有诸多原因。传统的组件关键性能指标和多元函数未能充分解决场景的多样性问题，也未能妥善处理平衡 ISP 各效应时固有的权衡问题，所以再次有必要让人类来查看图像并做出判断。为了减少或消除潜在干扰变量的影响，传统的视觉心理物理学测试特意设置了严格受限的测试环境，而更通用的自动化视觉心理物理学测量尝试同样受到高度人为限制，即便如此，相关性也很差 。然而，这与汽车成像系统的普遍期望恰恰相反，汽车成像系统所经历的场景内容多样性在所有成像应用中是最高的，因此必须考虑利用汽车场景中物体对观察者预期显著性的自动化方法 。

计算机视觉算法对图像质量关键性能指标的敏感性最近得到了凸显，在汽车场景中 “性能会因几乎难以察觉的变化而急剧下降”，而且即使故意改变单个像素也可能引发分类问题 。

与我们打算开展的工作最接近的论文是。该论文的目的是研究 ISP 流水线在计算机视觉（传统计算机视觉和卷积神经网络）中的作用，以寻找减少计算量和节能的机会（创建计算机视觉 ISP 模式）。然而，他们的调优方法是通过禁用流水线的某些阶段，而非调整参数。他们提出了一些相当重要的观点：（1）对于他们所选用的算法，在针对计算机视觉时，大多数传统 ISP 阶段是不必要的。在他们测试的所有应用中，除了一个应用外，只有两个阶段对视觉精度有显著影响，即去马赛克和伽马压缩。（2）他们的图像传感器可以通过用对数量化取代线性模数转换（ADC）量化，将位宽从 12 位降低到 5 位，同时保持相同的任务性能水平。然而，这项工作存在一些局限性。他们对为经过 ISP 处理的图像而设计的计算机视觉算法进行黑箱比较。如果图像未经 ISP 处理，算法就必须进行适当调整。例如，对于像尺度不变特征变换（SIFT）[34] 这样的拓扑算子，在有无去马赛克处理的情况下运行是并非最优选择。标准算子并不适用于拜耳模式图像。同样，在没有伽马压缩的情况下，算子也可以进行调整以应对这种情况。

最近，论文  展示了如何利用模拟来理解不同摄像头架构的影响。他们分析了摄像头 ISP 对神经网络性能及其对曝光变化的适应能力的影响。他们比较了两种卷积神经网络（SSD 和 RFCN）在检测方面的性能。每种网络都使用以下类型的数据之一进行训练和测试：原始数据、线性数据或 sRGB 数据。他们的结果表明，使用一种类型图像对网络进行训练，在其他摄像头设置下不会产生相同的结果。他们得出的结论是，最佳方法是共同设计摄像头和网络。

2.2. ISP 架构概述ISP 是一个处理模块，它将原始数字图像转换为适用于给定应用的可用图像（通常是用于观看的彩色图像）。这种转换相当复杂，包含多个离散的处理模块，这些模块根据 ISP 的不同可以按不同顺序排列。图 1 展示了一个示例图像处理模块。每个 ISP 都有其自身独特的特点，但几乎所有的 ISP 都具备相同的基本模块和处理流水线。以下是从对计算机视觉算法影响的角度对图 1 中所标识的每个功能模块的简要描述。

图 1. 典型的图像信号处理器（ISP）流水线

镜头阴影校正 —— 校正图像边缘处亮度和色彩的不均匀性。对于鱼眼镜头而言，这一点尤为关键，因为镜头透光率的特性会使光线强度在图像边缘处出现明显衰减。镜头阴影校正还用于校正色彩阴影效应。当白光穿过镜头时，折射程度会因光的波长不同而变化。其结果是，如果不进行校正，鱼眼图像的中心通常会呈现偏红的色调，而图像边缘则会呈现青色调。若不加以校正，整个图像就会出现不同程度的色调变化。这也会影响自动白平衡（AWB）算法的性能。任何以色彩作为输入的检测算法都会受到更严重的负面影响。镜头阴影校正通过对镜头光学特性进行表征，并应用空间变化的数字校正来实现。但这可能会产生增加图像边缘噪声的副作用，进而影响机器视觉性能。

自动白平衡 —— 校正环境光照条件下的色温，以保持色彩恒常性（即无论照亮场景的光的光谱如何，灰色物体都呈现灰色。自动白平衡统计数据根据输入图像进行计算，然后对红、绿、蓝色彩通道应用数字增益，以校正因环境光照导致的偏色。对于任何以色彩作为输入的机器视觉算法来说，准确的自动白平衡都至关重要。车道标线检测尤其容易受到自动白平衡不准确的影响。例如，在钠蒸汽路灯照明下区分黄色和白色车道标线就是一个极具挑战性的应用场景。其他算法，包括交通标志和交通信号灯识别，也会受到自动白平衡性能的影响。自动白平衡就是图像自然度和实用性之间可能需要权衡的一个例子。以钠蒸汽灯照明的夜景为例，钠蒸汽灯有多种类型，但其色温都相当低，在人类观察者看来呈现橙色或红色。通常，对于供人类观看的应用而言，理想的做法是调整相机的自动白平衡响应，使其尽可能符合人类观察者的期望。然而，对于机器视觉来说，这可能并非必要，甚至可能对机器视觉性能产生负面影响。针对机器视觉的白平衡的另一种方法可能是针对钠蒸汽灯照明进行校正，使图像 “呈现中性”，就好像是由 D65（标准光源）或类似光源照亮的一样。在这种情况下，图像可能看起来不自然，但显著物体，包括黄色道路标线，可能会更加突出。这甚至可能减少训练集的要求，即可能不再需要训练算法去检测车灯光下场景中的道路标线。据作者所知，目前还没有详细研究过这个问题的相关文献。

自动曝光控制 / 自动增益控制（AEC/AGC）—— 自动曝光控制 、自动增益控制 。自动曝光控制 / 自动增益控制模块控制图像传感器的曝光量和增益。下一帧图像的曝光量和增益是根据当前曝光量的加权平均值来计算的。这是 ISP 内唯一真正的反馈回路。准确的自动曝光控制 / 自动增益控制性能对机器视觉性能至关重要。曝光不足的图像会有较差的信噪比和对比度区分度，而曝光过度的图像则会在场景高光部分丢失信息。此外，根据应用的不同，可能需要考虑不同的曝光加权方案。例如，对于前照灯检测算法来说，让图像曝光不足以确保前照灯不会出现光晕可能是可以接受的。相反，如果主要关注阴影中物体的检测，那么让图像的大部分区域曝光过度以确保捕捉到阴影中的细节可能是可以接受的。高动态范围（HDR）成像的目标是确保同时捕捉到高光和阴影部分。鉴于汽车应用场景，运动模糊也是需要考虑的一个因素。根据感知任务的不同，让图像曝光不足并通过数字方式提升亮度水平以避免运动模糊伪影可能是可以接受的。

坏点校正 —— 校正图像传感器上的坏点。图像传感器中的坏点数量会随着传感器的使用时长增加而增多。正是因为有坏点校正算法，所以这些坏点通常在数字图像中是看不到的。坏点有可能影响机器视觉算法的性能。苏等人的研究表明，仅通过对单个像素进行对抗性扰动，平均有 97.47% 的置信度能将所测试的 70.97% 的自然场景扰动到至少一个目标类别。诚然，这个极端的例子展示了坏点影响机器视觉性能的可能性，类似的脆弱性在其他文献中也有阐述。