广告
舱内感知技术解析
2020-08-06 09:31:22· 来源：汽车电子与软件
舱内感知技术（In-Cabin Sensing，以下简称ICS）
舱内感知技术（In-Cabin Sensing，以下简称ICS），通过检测追踪包括头部朝向、面部表情、视线方向、手势及肢体关键点等人体视觉特征，分析驾驶员及乘客的身份信息、意图和行为，同时关注驾舱内的人员活动以及与之相关的物品检测，致力于提供更安全、智能的车内体验。在这篇文章内，我们将介绍舱内感知技术。
功能应用
具体来说，ICS技术需要精确检测出驾乘人员的身份、性别年龄、五官、视线方向、头部朝向、手势、肢体关节点等信息以及他们的随身物品。通过对这些关键信息的检测，ICS技术可以应用在不同的功能上，比如：驾驶员监控、乘客监控、舱内物品检测和驾舱人机交互。
ICS技术的一个核心应用就是驾驶员行为监测（Driver Monitor System, 以下简称DMS），监测并分析驾驶员的状态和行为，并提供对应的预警信息。其包含的主要功能有：疲劳分析、分神分析、动作分析（打电话、抽烟）等。
特征信息检测
DMS最基础也是最核心的，是要得到面部的特征信息，例如：眼睛的位置以及张闭程度、嘴巴的位置以及张闭程度、耳朵的位置、面部的朝向等等。这些信息直接决定了整个算法的准确性。
在检测这些关键信息之前，首先需要完成驾驶员检测，实现画面中驾驶员的定位。我们采用的人脸检测算法经过实测，精度指标AP（Average Precision）高达97.4%。第二步分析五官特征，我们基于神经网络自主研发的脸部特征点回归网络，可以精确定位出脸部特征，比如眼睛、鼻子、嘴、眉毛等。最重要的是，我们的算法不仅仅只分析画面中的人脸，他还会根据自己分析到的人脸信息进行迭代、演进和修正，保证了算法对不同特性人脸的适应性。
检测算法能够适应不同人种、肤色
脸部特征信息是作为行为/状态分析的“原材料”。如果要判断驾驶员是否处于疲劳驾驶状态，我们需要分析出一系列的外部特征表现，比如眼睛开合度的变化、眨眼频率的变化、打哈欠频率的变化、头部运动规律与节奏等。举个例子，我们会统计司机开车时间内正常的眼睛开合度。当他疲劳时，眼睛的开合度会在一个时间段内缓慢地逐步变小，这就是疲劳的典型特征。
视线追踪
我们ICS技术的亮点之一是视线追踪，利用摄像头分析眼球的成像信息，从而得到视线的朝向，从而精准地判断司机的注意力。
下面是我们的视线追踪Demo，从瞳孔中“发射”出的两条线就代表着视线方向。这是通过构建眼球的3D模型，得到视线的原点；再通过分析眼睛的成像以及光斑信息得到目标点。原点到目标点的连线就是我们的视线方向。
视线精度的误差我们能够控制在3-5度，这是因为综合利用了精确视线与鲁棒视线两种算法。当眼睛成像清晰、光斑稳定可见的时候，会采用精确视线算法以提升算法的精度；当成像模糊时我们采用稳定视线，通过牺牲精度的方式来保证算法的稳定性以及不同场景的适应性。
• 精确视线:
视线矢量原点= 角膜虚拟球心 (由光斑推算得出)
精确度高但可获得性低
• 稳定视线:
视线矢量原点= 瞳孔中心 (由3D眼球模型推算得出)
精确度相对较低但可获得性高
红外补光灯照射人眼时，此时角膜相当于一个凸面镜，红外灯的反射像会形成一个可见亮斑
同时，我们的算法可以支持不同光源条件下的识别检测，光源的变化会令司机的眼球形成亮瞳或暗瞳。当光源靠近成像装置的视轴时，会产生亮瞳现象，就和拍照时出现的红眼现象相同；反之会产生暗瞳现象，瞳孔的亮度比虹膜暗。
活体身份识别
活体身份识别是ICS的另一重要应用，系统需确认当前司机是否为车主，许多车队利用这一功能来加强对司机的管理。然而一些人会利用漏洞，通过照片等手段蒙蔽摄像头。
如Demo所展现，我们的算法能够识别照片、铜版纸、3D假人模型等，识别率达到99%以上，避免司机对系统进行干扰。
并且，我们的活体检测技术是非配合式的，也就是说不需要用户进行点头、摇头、眨眼、张嘴等动作就能完成活体的判断，在用户体验上来说节省了司机很多时间。
目前，这种驾驶员监控技术已经广泛运用在了许多商用车队上，已为超过3万台巴士、物流车、网约车提供安全保障。在未来，ICS技术不仅可以完成对车内的人和物的监控，还将引领座舱的智能化变革。
ICS对车内驾乘人员和物品的检测、分析，可以看作是一种单向的行为；但在此基础上，驾驶员和汽车可以利用ICS技术进行交互，实现双向的沟通，这也是目前行业正在着力打造的产品。它可以通过驾驶员的视线、手势、头部动作等进行交互，比如通过视线方向开启空调，通过手势来切歌、静音等等。
驾舱交互的应用示范：小手一比，立马静音
功能应用
具体来说，ICS技术需要精确检测出驾乘人员的身份、性别年龄、五官、视线方向、头部朝向、手势、肢体关节点等信息以及他们的随身物品。通过对这些关键信息的检测，ICS技术可以应用在不同的功能上，比如：驾驶员监控、乘客监控、舱内物品检测和驾舱人机交互。
ICS技术的一个核心应用就是驾驶员行为监测（Driver Monitor System, 以下简称DMS），监测并分析驾驶员的状态和行为，并提供对应的预警信息。其包含的主要功能有：疲劳分析、分神分析、动作分析（打电话、抽烟）等。
特征信息检测
DMS最基础也是最核心的，是要得到面部的特征信息，例如：眼睛的位置以及张闭程度、嘴巴的位置以及张闭程度、耳朵的位置、面部的朝向等等。这些信息直接决定了整个算法的准确性。
在检测这些关键信息之前，首先需要完成驾驶员检测，实现画面中驾驶员的定位。我们采用的人脸检测算法经过实测，精度指标AP（Average Precision）高达97.4%。第二步分析五官特征，我们基于神经网络自主研发的脸部特征点回归网络，可以精确定位出脸部特征，比如眼睛、鼻子、嘴、眉毛等。最重要的是，我们的算法不仅仅只分析画面中的人脸，他还会根据自己分析到的人脸信息进行迭代、演进和修正，保证了算法对不同特性人脸的适应性。
检测算法能够适应不同人种、肤色
脸部特征信息是作为行为/状态分析的“原材料”。如果要判断驾驶员是否处于疲劳驾驶状态，我们需要分析出一系列的外部特征表现，比如眼睛开合度的变化、眨眼频率的变化、打哈欠频率的变化、头部运动规律与节奏等。举个例子，我们会统计司机开车时间内正常的眼睛开合度。当他疲劳时，眼睛的开合度会在一个时间段内缓慢地逐步变小，这就是疲劳的典型特征。
视线追踪
我们ICS技术的亮点之一是视线追踪，利用摄像头分析眼球的成像信息，从而得到视线的朝向，从而精准地判断司机的注意力。
下面是我们的视线追踪Demo，从瞳孔中“发射”出的两条线就代表着视线方向。这是通过构建眼球的3D模型，得到视线的原点；再通过分析眼睛的成像以及光斑信息得到目标点。原点到目标点的连线就是我们的视线方向。
视线精度的误差我们能够控制在3-5度，这是因为综合利用了精确视线与鲁棒视线两种算法。当眼睛成像清晰、光斑稳定可见的时候，会采用精确视线算法以提升算法的精度；当成像模糊时我们采用稳定视线，通过牺牲精度的方式来保证算法的稳定性以及不同场景的适应性。
• 精确视线:
视线矢量原点= 角膜虚拟球心 (由光斑推算得出)
精确度高但可获得性低
• 稳定视线:
视线矢量原点= 瞳孔中心 (由3D眼球模型推算得出)
精确度相对较低但可获得性高
红外补光灯照射人眼时，此时角膜相当于一个凸面镜，红外灯的反射像会形成一个可见亮斑
同时，我们的算法可以支持不同光源条件下的识别检测，光源的变化会令司机的眼球形成亮瞳或暗瞳。当光源靠近成像装置的视轴时，会产生亮瞳现象，就和拍照时出现的红眼现象相同；反之会产生暗瞳现象，瞳孔的亮度比虹膜暗。
活体身份识别
活体身份识别是ICS的另一重要应用，系统需确认当前司机是否为车主，许多车队利用这一功能来加强对司机的管理。然而一些人会利用漏洞，通过照片等手段蒙蔽摄像头。
如Demo所展现，我们的算法能够识别照片、铜版纸、3D假人模型等，识别率达到99%以上，避免司机对系统进行干扰。
并且，我们的活体检测技术是非配合式的，也就是说不需要用户进行点头、摇头、眨眼、张嘴等动作就能完成活体的判断，在用户体验上来说节省了司机很多时间。
目前，这种驾驶员监控技术已经广泛运用在了许多商用车队上，已为超过3万台巴士、物流车、网约车提供安全保障。在未来，ICS技术不仅可以完成对车内的人和物的监控，还将引领座舱的智能化变革。
ICS对车内驾乘人员和物品的检测、分析，可以看作是一种单向的行为；但在此基础上，驾驶员和汽车可以利用ICS技术进行交互，实现双向的沟通，这也是目前行业正在着力打造的产品。它可以通过驾驶员的视线、手势、头部动作等进行交互，比如通过视线方向开启空调，通过手势来切歌、静音等等。
驾舱交互的应用示范：小手一比，立马静音
广告 
广告
编辑推荐
最新资讯
-
大众汽车南京工厂或面临出售
2024-12-19 13:29
-
端到端专题：DDPG 基础算法与方法论介绍
2024-12-19 11:42
-
多模态大模型最新论文介绍
2024-12-19 11:42
-
建科股份收购苏州赛宝
2024-12-19 09:57
-
端云协同创变，中科创达与火山引擎共塑AI智
2024-12-19 09:56
广告
广告
