广告
自动驾驶中视觉感知ISP调参综述及实证分析
色彩插值 —— 将传感器通常使用拜耳彩色滤光片阵列（CFA）采集到的原始色彩数据转换为彩色 RGB 图像。这个过程也被称为去马赛克 。去马赛克是任何 ISP 中最关键的操作之一。调制传递函数（MTF）和图像噪声都会直接受到去马赛克操作的影响。去马赛克还可能引入许多图像伪影。例如，边缘处的拉链 / 阶梯状伪影以及高频图案中的混叠 / 假色现象。通过使用更复杂的去马赛克滤波器，许多这类影响可以得到缓解。通常在计算负荷和图像质量之间存在权衡。噪声的引入，特别是水平和垂直边缘噪声，可能导致基于强垂直和水平图像梯度的特征提取出现错误。重复的边缘效应，如阶梯状伪影，可能导致错误的特征提取和匹配，以及沿边缘而不是沿运动方向产生错误的光流。
边缘增强 —— 这一处理模块用于增强边缘，通常是为了让图像在人类观察者看来更加清晰。然而，过度的边缘增强可能会引入诸如高对比度边缘周围出现光晕之类的伪影，还会加重噪声。过度的边缘增强会通过增强噪声以及在锐化边缘的过冲和下冲处人为制造重复边缘，对基于梯度的算法产生负面影响。
色彩校正矩阵 —— 校正相邻传感器像素之间的串扰。串扰是一种像素级现象，即一个像素的色彩信息会污染相邻像素。它本质上可以是光学或电学方面的问题。需要进行色彩校正来修正与串扰相关的色彩不准确问题。在某些情况下，色彩校正也可能引入或加剧色彩噪声。当色调之间存在明显不匹配，需要进行高强度数字校正时，就会出现这种情况。噪声增加以及色彩不准确都有可能对机器视觉性能产生负面影响。
亮度 / 对比度调整 —— 该模块的具体实现细节差异很大，但关键目标是增强图像对比度并对图像亮度进行数字调整。典型的对比度增强算法包括直方图拉伸、直方图均衡化、局部和全局对比度调整算法（例如，对比度受限的自适应直方图均衡化，CLAHE）等。对比度增强可以改善不同灰度级之间的对比度区分度。这对机器视觉性能可能是有利的。然而，过度的对比度增强会加重噪声并降低信噪比，从而对计算机视觉性能产生负面影响。针对人类视觉和机器视觉目的的亮度和对比度调节可能是相互对立的。
伽马校正 —— 伽马校正模块对不同光照水平下的对比度进行不同的调整，以增强特征的显著性。伽马校正对于观看应用至关重要。如果没有伽马校正，就需要更高的图像位深度来避免可见的色调分离现象。对于机器视觉应用而言，其影响不太明确。阴影细节的对比度会被增强，但高光部分的对比度会被压缩。例如，这可能会对交通标志识别或前照灯检测算法产生潜在的不利影响。
2.3. 用于汽车应用的计算机视觉算法
2.3.1. 经典计算机视觉当我们提及经典计算机视觉（CV）时，指的是在不使用深度学习方法的情况下，实现人类视觉系统通常能够执行的任务自动化的过程。深度学习（将在下一节介绍）可被视为现代计算机视觉中的一个子领域，因为它正迅速成为几乎所有计算机视觉任务的前沿技术。
在自动驾驶的情况下，计算机视觉的多个子领域被用于提取车辆周围环境的信息，包括重建、物体识别、三维姿态估计、机器学习以及运动估计。以下部分简要介绍两种常用于自动驾驶功能的传统计算机视觉技术，即三维重建和道路标线检测，这些是计算机视觉用于自动驾驶功能的示例，旨在说明可靠且准确的计算机视觉输出的重要性，进而体现所处理图像的重要性。关于用于汽车应用的计算机视觉算法的更详细综述见文献 。
三维重建 —— 三维重建是指旨在获取传感器视场内环境空间结构表示的一组算法。在自动驾驶背景下，它是计算机视觉用于创建车辆周围环境度量地图的主要机制。相机的深度感知技术主要有两种类型：即立体视觉和单目视觉 ，立体相机相对于单目系统的主要优势在于即使相机不移动也能感知深度，而单目视觉因成本较低而颇具吸引力。立体视觉通过解决每个像素的对应问题来工作，从而实现从左相机图像到右相机图像的像素位置视差映射。距离与对应世界点距相机的实际距离成正比。利用已知的相机校准参数和基线，可以确定每个像素在现实世界中的三维位置。图 2 展示了一个稀疏三维重建的示例。
图 2. 三维重建的重投影及俯视图
单目系统也具备感知深度的能力，不过，需要相机运动来为场景重建创建基线。这种场景重建方法被称为运动恢复结构（SFM）。图像中的像素通过稀疏或密集光流或者特征提取与匹配技术，从一帧追踪或匹配到下一帧。这是发生在图像域的主要步骤，通常由诸如尺度不变特征变换（SIFT）、加速鲁棒特征（AKAZE）等特征匹配算法来完成 ，而这些算法将是我们评估其对图像信号处理器（ISP）影响的主要算法之一。经过处理的帧之间相机的计算运动以及相机校准，被用于对对应点的世界位置进行投影和三角测量。光束法平差是一种常用的方法，它根据一个最优性准则，同时对场景中估计出的三维位置以及相机的相对运动进行优化，该准则涉及所有点的相应图像投影。单目深度问题已经在教科书里被讨论很长时间了 。
- 下一篇：鱼眼相机在自动驾驶环境感知的应用和挑战
- 上一篇：双电机驱动技术
广告 
广告
编辑推荐
最新资讯
-
C-V2X测试探秘系列之电磁兼容试验方法
2025-01-08 19:31
-
【新品上市】电阻计RM3548-50，更人性化的
2025-01-08 19:29
-
新品发布 | 高电压应变花RH81
2025-01-08 19:29
-
应变测量基础 | 什么是应变花？
2025-01-08 19:28
-
革新测量技术：HBK全新超微型加速度计
2025-01-08 19:27
广告
广告
