深度感知将机器视觉带入另一个维度

人类视觉能做什么计算机视觉做不到的？人类以三维方式感知世界，深度传感器是实现更高水平机器视觉和解锁自动驾驶的关键。

在传感技术最新发展的支持下，越来越多的机器被赋予了感知、行动和与环境互动的能力。EE Times Europe对3D视觉前景进行了扫描，以更清楚地了解市场驱动因素、零部件供应商的机遇和挑战，以及新兴技术。

深度感知

据Yole Développement称，在模块级别，3D传感市场目前的价值规模为68亿美元，到2026年将以15%的复合年增长率增长至150亿美元。

Yole Développement的光子学和传感部门首席分析师Pierre Cambou表示：“在移动和消费主要驱动市场中，由于对华为的禁令以及安卓阵营事实上已放弃了3D传感，这一增长暂时性停滞。”另一方面，他补充说：“苹果正通过在iPad和iPhone中安装激光雷达来加速这一趋势。”

Cambou表示，3D技术在汽车领域的应用也在加速发展。激光雷达和座舱内的3D摄像头正在被采用，“我们对3D传感技术在汽车市场上的应用非常乐观，未来五年内这个市场将增长四倍。”



目前流行的3D成像技术有立体视觉、结构光和飞行时间（ToF）。

Cambou表示，立体视觉在10米以上的远程传感应用领域非常强大，比如DJI等公司生产的消费类无人机，以及奔驰、捷豹和斯巴鲁等车型上的前视ADAS摄像头。

结构光一直是1米以下短程传感的首选方法，通常用于苹果iPhone的前置面部识别，但也用于一些工业应用，如Photoneo公司。

Cambou说，ToF系统主要用于中程，目前有两种类型。2019年和2020年，安卓手机（华为、三星和LG等供应商）的背面使用了间接ToF，用于拍照。苹果在其最先进的智能手机中使用了直接ToF。Cambou说：“激光雷达（例如Velodyne、Innoviz、Ibeo、禾赛和速腾）使用的直接ToF技术，最终可能在接收端使用矩阵形状的传感器。由于人们对自动驾驶的追捧，它正在取得进展。”

EEL或VCSEL？

激光雷达捕捉整个场景的能力使其成为机器视觉应用的一项宝贵的技术。获取3D点云最常用的两种系统是Flash激光雷达和Scanning激光雷达。欧司朗的全球营销经理Matthias Hoenig说，在Scanning激光雷达系统中，聚焦的脉冲激光束通过机械旋转反射镜或MEMS反射镜定向到某个小的立体角。由于高功率激光束被控制，使其只发射到一个小的立体角，所使用的光功率可达到的距离可以比3D Flash系统可达到的距离大得多。Hoenig说：“边缘发射激光器（EEL）是该系统架构的首选产品，因为它们通过较小的发射面积在较小的空间内发射大量的光，因此在功率和射程方面也有加分。”

欧司朗（现在是Ams的一部分）表示，在封装温度在应用过程中上升的问题方面，其激光器的波导稳定性最近取得了进展。用于激光雷达应用的波长更高的产品也正在探索中。

Yole预测，关于激光二极管，EEL是目前最大的市场机会，但垂直腔面发射激光器（VCSEL）将在未来迅速赶上。VCSEL将高功率密度和简单封装的红外LED与激光的光谱宽度和速度相结合。

Hoenig说：“该技术的优势，包括卓越的光束质量、简单的设计和小型化方面的进步，解释了VCSEL市场的增长。一般来说，它们比EEL发射器需要更多的安装空间，但在某些应用领域具有优势。例如，它们的辐射特性使它们特别适合Flash激光雷达系统，以及工业应用中的主动立体视觉，如机器人和物流车辆。”

至于VCSEL相关的技术挑战，Hoenig说，欧司朗正在研究更高的光输出。在2018年收购Vixar之后，该公司展示了双结和三结VCSEL，比单结VCSEL提供更高的效率和速度。在今年的Photonics West上，该公司推出了基于这种多结技术的PowerBoost VCSEL产品组合。该公司表示，它也在探索各种改善散热的想法，例如，通过改变从顶部发射到底部发射的组件。

欧司朗高级市场经理Lei Tu表示，所有常见的3D传感方法都依赖于各种系统构建模块的顺畅交互。通常，这些系统由光源、特殊光学、探测器和相应处理被检测信号的下游软件组成。未来，她继续说道：“对于欧司朗这样的零部件制造商来说，重点将是以尽可能好的方式满足客户的需求。这包括组件的小型化，优化他们的光学性能、寿命，当然，还要易于使用。”Tu补充说，一些客户更喜欢“现成的、即取即用的解决方案”，而另一些客户更倾向于自己组装单个组件或让第三方组装成一个完整的解决方案。

深度和侧向感知用于盲点检测

深度感知是一种从3D看事物并测量物体距离的能力。激光雷达确实充当了自动驾驶汽车的眼睛，许多OEM使用它来构建汽车周围环境的3D地图。尽管如此，开发主要集中在具有较长检测范围（超过200米）但视野相对较小（约20°-30°）的前置激光雷达系统上。

2019年从德国弗劳恩霍夫硅技术研究所（ISIT）独立出来的OQmented正在努力改变这一现状。该公司表示，他们已经开发了一种MEMS反射镜技术，使侧向激光雷达具有180°视野。

OQmented的创始人兼董事总经理Ulrich Hofmann表示：“侧向激光雷达系统更能瞄准近距离目标”，以实现盲点检测。他补充说，盲点检测是一项重要的安全功能，它使近距离侧面扫描系统“比远视系统更有意义”。例如，“进入十字路口时，你需要那些近距的激光雷达系统，因为有大量的行人、自行车、汽车等车辆，这很容易导致混乱和事故。”因此，在广角上有一个清晰的全景和高横向分辨率是很重要的，以区分不同的物体（静态或移动）。”

OQmented在其MEMS镜面设备的顶部放置了一个球星的玻璃盖，与平面平行的玻璃盖不同，可以成功地让激光束进出封装，从而实现180°激光扫描。Hofmann说，Bubble MEMS专利技术不仅提供了“密封的真空封装和保护”，不受环境污染物的影响，而且还确保了激光束成功地进入和离开封装，因为它总是以垂直的方式撞击玻璃。当使用平面平行玻璃盖时，情况并不总是如此。对于大的扫描角度，部分光被反射回封装上的盖子。Hofmann说，这对任何一种激光雷达解决方案来说都是不可接受的。


OQmented的MEMS镜面装置上的球形玻璃盖启发了这项技术的名字，Bubble MEMS

更接近数据源

图像传感器产生大量的数据。虽然目前大多数处理都在云或中央处理单元进行，但趋势是使计算更接近数据源，并在传感器附近或内部嵌入智能。

Yole的Cambou说，为了便于观看，数据通常被H264压缩，这意味着它可以通过100mbps带宽传输。“在传感的情况下，数据流通常是10-100倍大（对于机器视觉来说，1Gbps是非常典型的）。如果同时使用10个摄像头，那么你很快就能达到10Gbps甚至更多。管理传感器附近的数据的必要性来自于CPU级别的负担。如果需要，所有的预处理、清理和AI增强都必须在离传感器更近的地方完成，以减轻CPU的负担。”

Cambou说，然而今天，传感器本身几乎没有什么计算，因为它会产生热量。

前视

图像传感器是一个关键的部件，但它们不能无限地添加，所需的计算能力将会爆炸。Yole的分析师说，一个解决方案是提高数据质量。“如果你真的想解决自动驾驶的问题，就需要尽快增加多样性。”

新技术不断涌现，出现了灵敏度更高看得更清楚的机器。Cambou确定了两个方向：神经形态感知，其中每个像素作为一个神经元，并嵌入了一定程度的智能；量子成像，它可以单独检测每个光子。

法国的神经形态初创公司Prophesee推出了业界首款基于事件的视觉传感器，第三代metavision传感器。Prophesee的产品营销和创新总监Simone Lavizzari说：“如果你将metavision传感器与VCSEL发射器或另一种可以发射合适模式的发射器结合，你就可以实现一个基于事件的结构光传感器。”到底为什么呢？当今最先进的深度传感技术要求在曝光时间、准确性和鲁棒性之间进行权衡。

Lavizzari说，将红外发射器与Prophesee的metavision传感器相结合，可以为每个独立的像素提供快速的响应时间，进而允许直接在传感器内部进行时间模式识别和提取。“如果你使用基于事件的传感器来做结构光，响应速度非常快。我们可以将扫描时间提高50倍，所以比起传统的基于帧的方法，你需要1毫秒才能获得完整的3D扫描。它的精确度是最先进的，但软件的复杂性降到了最低，因为我们不需要在后处理中进行匹配。”

匹配不是在事件之后的帧上进行的，而是在传感器级别上逐像素进行的。Lavizzari说:“其中一个好处是，没有运动模糊，因为我们可以非常快速地捕捉点云，而且我们与户外应用程序兼容。”超高速脉冲检测确实可以增加功率，同时保持该技术的人眼安全等级。



在量子成像方面，Cambou提到了Gigajot Technology的量子图像传感器（QIS），这是一种具有光子计数功能的单光子图像传感器。Gigajot是一家加州的初创公司，该公司声称，动态场景可以由一组帧以每帧像素1个光子的光子级别重建。


[参考文章]
Depth Sensing Takes Machine Vision into Another Dimension — Anne-Françoise Pelé