下一代前沿技术：智能座舱监测系统

本文选自《Smart Eye座舱监测系统白皮书》，文末附下载方下一代前沿技术

改善道路驾驶安全和提升出行体验

1.不仅只关注驾驶员

多年来，汽车厂家采用各种各样的传感器来更好地探测道路状况，早期传感器可以帮助在碰撞危险发生时车辆及时响应，到如今具备半自动驾驶能力的汽车可以实现自主泊车。但是绝大部分传感器都是集中在车外世界的探测。

如果仅关注外部道路的话，这些传感器就忽略了汽车环境的另一个重要组成部分：驾驶员、车舱和里面的乘客。只要汽车无法理解车内人员的行为，其对驾驶行为的理解都是不完整的。只有借助于舱内传感器，我们才能完整的理解舱内场景。

/ DMS驾驶员监测系统如何定义了安全新标准

利用传感器和AI软件来实现座舱监测不是一个新概念，最近几年，DMS驾驶员监控系统逐步变成了汽车行业的标准配置。受法规驱动，侦测驾驶员状态和适时干预的安全系统逐渐被各大汽车厂家所采用。除了法规之外，Euro NCAP的最新新车评价方案更是加速了DMS系统的普及。

结合传感器如车内摄像头，再加上基于计算机视觉和机器学习的算法软件，现今的驾驶员监测系统能够获取驾驶员的状态及行为。由于具备侦测驾驶员分心和疲劳的能力，DMS驾驶员监测系统已经成为避免事故和改善道路驾驶安全的一项关键技术。

/ 新一代汽车安全系统

早在上世纪90年代末期，Smart Eye已经开始通过视线追踪来侦测危险驾驶行为的应用。由于视线活动是理解驾驶员状态的一项关键指标，最近十年该项技术快速发展，已经不仅仅是对视线的分析，除了视线追踪以外，新一代DMS驾驶员监测系统基于一系列关键技术、如面部特征分析、头部姿态追踪、面部表情和情绪识别、身体姿势追踪和物体侦测等。

这些新技术能够分辨各种类型的乘员、他们的行为和他们所使用的的物品。能够赋能个性化的智能驾舱系统，从注册用户的座椅自动调节到基于实时驾驶员情绪状态的娱乐信息内容的定制推荐。

基于这些新技术和算法的加持，汽车行业深刻意识到这项技术能够延伸到驾驶员之外的群体。如果车内传感器能够探测到整个座舱，我们可以获取座舱状态和车内乘员状态等有价值的信息，这也是我们所称的座舱监测，由于DMS系统的自身进化，座舱监测系统被认为未来改善驾驶安全和提高出行体验的一项关键技术，能够带来全新的舒适性和娱乐性体验。

2.改善道路驾驶安全

为什么汽车需要了解车内人员的状态呢？

最重要的原因是探知车内人员的行为和精神状态可以挽救生命。基于驾驶员监控功能，座舱监测系统可以通过侦测危险驾驶行为来预防事故，如分心、疲劳驾驶或驾驶员突发疾病。

通过将驾驶员监控和座舱及乘员监控结合起来，系统能够深度获取座舱状态，如车内其它乘员的行为，例如婴儿哭泣或者后排乘客的争吵，能够成为驾驶员分心的重要起因。通过获取影响驾驶员注意力的根本原因，座舱监测系统能够在第一时间获取信息并且帮助生成合适的干预指导，大大提升避免事故发生的能力。

甚至在事故发生后，座舱监测系统还能够为车内乘员获救提供帮助。

/ 针对各种场景的安全功能

乘员监测功能，可以探测车内有几名乘客以及他们的实时位置，有助于调整传统安全设施，如安全带使用，防碰撞系统或者安全气囊激活。如果一个乘客从他们座位上向前探出身体或者将他的脚放在仪表板上的话，对应的安全气囊发生工作时，造成的实际伤害将超过设计定义的保护。但是通过探测所有乘员的实时状态，驾舱监控系统就可以调节安全措施，将有价值的座舱数据实时传输给整车安全控制系统。

避免车内乘客中暑

即使车辆处于停车状态，座舱监测系统同样能够挽救生命。在美国每年平均有38名儿童由于被遗留在车内而遭受到致命的中暑，每年因为宠物被遗留在车内而造成的惨剧预计也有数百起。

借助于座舱监测系统，儿童或宠物被遗留在车内会被第一时间发现，对应的一系列安全措施会及时响应。

首先车辆会自动向已离开汽车的驾驶员发送报警信息，如果该报警没有及时响应，座舱系统会自动启动车辆通风或空调系统以降低车内温度，同时系统会继续发送报警信息给车主，必要情况下将直接报警。

座舱监测系统的最重要的影响就是提升了道路驾驶安全，同时能够提升未来汽车的IQ和EQ特性，借助于传感器及机器学习算法，一辆具备情感和智能属性的车辆不仅能够将我们安全地送到目的地，而且能够给我们带来更舒心和愉悦的行程体验。

3. 提升出行体验

如果车辆能够理解驾驶员和乘客的情绪和认知状态，整个出行体验就可以实现定制，随着对乘客理解的深入，系统能够更好的根据乘客实时的需求进行功能设定。

/ 车内环境的定制

我们可以设想这样一个画面，一位乘客进入车内，车辆自动识别乘客信息并将座椅自动调节到乘客设定的最佳位置，车内灯光和温度也按照车外温度和乘客生理和精神状态自动设定。同时系统能够基于探测的乘员情绪结果来推荐不同的播放歌曲。

在旅途中系统还会实时提供优化的提醒信息，这些提醒都是基于舱内乘员的生理情绪等因素的实时变化而产生的。这样车辆不仅仅是将乘客送到目的地，它还提供了适应乘员状态情绪和提升其舒适性的出行环境。

通过使用面部情绪识别技术，如Affectiva公司的情绪识别算法，你可以让系统自动保存旅程中的快乐瞬间，当系统检测到欢笑和愉悦的面部表情时，舱内相机可以保存瞬间照片，让乘客保留一个美好的回忆。

/ 以人为本的出行体验不仅局限于驾驶员和乘客

对座舱状态的监测能够将范围延伸到驾乘人员之外，例如座舱监测对于运行大型车队的公司来说也是非常有意义的。

通过自动分析舱内状态，系统可以判断改车是否需要清洁或者其它形式的维护。如果你在出租车下车时遗落了手机或钥匙，座舱监测系统的物体检测功能可以在瞬间发出提示，这些功能在未来的无人驾驶出租车或巴士上会变得非常实用，因为未来的这些车辆都不会配置专门的驾驶员。

长期以来，驾驶的主要目的就是将人们安全的送到目的地。不过随着技术的发展，智能出行的内涵也在扩展，随着车辆具备更多以人为本的功能，在安全抵达目的的前提下出行体验也越来越受到关注。

4.座舱监测系统软件背后的技术

和DMS驾驶员监控系统一样，座舱监测系统同样主要由传感器和算法构成。DMS驾驶员监控系统重点关注于驾驶员，座舱监测系统则获取整个座舱的信息，通过采用不同的算法，系统分析场景下的不同对象以获取整个舱内环境及乘员的状态信息。

视线和头部追踪算法
分析驾驶员和乘客的视线和头部动作姿态来判断他们的精神状态，以及他们和座舱的交互行为。来侦测潜在的疲劳、分心或醉驾迹象。

动作识别算法
识别车内乘员的行为，如饮食、吸烟、化妆或睡觉。

面部识别算法
识别车内乘客，创建乘客轮廓信息，帮助系统理解乘员喜好。

手势识别算法
识别分析有意识的手势动作（HMI交互手势）和驾驶员及乘客的无意识的身体语言。

物体侦测算法
分辨识别不同类型的物体并且标注其在车内的具体位置。

情绪识别算法
通过分析面部情绪来侦测车内乘员的细微情绪状态。

人员姿态评估算法
实时分辨车内乘员的姿态和位置。

座舱监测系统相比较常规的DMS驾驶员监控系统而言，集成了更多类型的算法，提供更广的监测范围及功能。

乘员
车内有多少位乘员？他们的位置在哪儿？他们都系好安全带了吗？安全气囊是否处于合适的工况下？

面部识别
车内的乘客是谁？他们有驾照吗？

驾驶员状态
驾驶员是否处于疲劳驾驶、分心或者表现出其它类型的危险驾驶行为？他们是否处于可能影响安全驾驶的生病状态？

行为侦测
车内的乘员在做什么？他们在使用手机吗？饮食？喝水或抽烟？乘员之间是否有交流？

儿童安全座椅和儿童遗留侦测
车内是否有儿童？泊车以后是否有儿童被遗留在车内？

宠物侦测
车内是否有宠物？泊车以后是否有宠物被遗留在车内？

面部情绪识别分析
车内人员情绪如何？他们对车内环境的反应如何？对外界内容的反应如何？如音乐或视频内容。

物品分类和遗留物品侦测
车内有哪些物品？是否有物品遗留在车内（如手机、钱包）？是否有一些大件物品误触了安全带报警。

/ 严肃对待开发和部署中的伦理隐私问题

当我们展望未来的汽车，我们希望这些高度智能驾驶的车辆可以理解和预测车内所有乘员的行为和需求，但是在将这远景变成现实的过程中，我们需要实现技术的开发和落地。

座舱监测系统的核心是AI算法，机器学习为基础的算法需要海量数据来训练和验证。座舱监测系统需要侦测复杂的人员行为、动作、情绪和状态。需要不同人种在不同场景下的海量数据进行训练。

一个重要的因素是保证不同人群数据的收集，不仅仅包括年龄、性别和肤色的差异，同时还要包括外观特征的差异，如身材尺寸、发型、眼镜和面罩等。座舱监测系统需要对众多变量因子识别并确保高度准确性，尽量避免数据和算法之间的偏差。

数据收集费时而且成本高昂。最近几年虚拟数据成了一个游戏规则改变者。使用一张单一的资源图像，虚拟合成工具可以快速和低成本的生成不同类型的海量图像，如改变头部姿态方向或光照。数据虚拟生成工具可以让开发者快速生成训练用数据，加速算法开发进程。

汽车业界需要严肃地对待技术的落地部署，特别系统中的摄像头传感器会采集人员数据。所有涉及到道德和隐私的问题必须认真对待：哪些数据会被采集？是否保存？这些数据的用途是什么？谁能看到这些数据？这些数据怎么使用？现如今许多基于摄像头传感器的座舱监测算法可以通过边缘计算或者嵌入式系统实时运行，采集的只是测量数值数据而不是个人识别信息，不需要将影像资料上传到云端服务器。

未来的应用场景不可避免的会持续增加，读取乘员的个人信息能够提供更好的出行体验。汽车厂家需要全面的评估用户个人隐私保护以及赢得用户的信任，需要对外界公开透明的说明系统是如何工作，以及系统对用户会带来哪些益处。

5.未来的座舱监测系统

10年前DMS驾驶员监控系统仅仅出现在少数汽车上，今天法规已经要求即将上市的新车都要配置具备监测驾驶员分心和疲劳驾驶的DMS系统。我们也可以想象未来座舱监测系统的普及也是可以预计的。

/ 基于现有技术以及低成本部署

对于汽车厂家而言，部署座舱监测系统的门槛比部署DMS驾驶员监控系统要低很多。可以在现有DMS系统基础上扩展传感器硬件和算法，周期和成本能够得到有效的控制。

同时座舱监测系统还允许汽车厂家进行差异化定制功能的开发，当今汽车行业竞争激烈，功能的差异化也是汽车厂家关注的重点之一。在满足法规评价要求的基础上额外的特色功能有助于帮助企业在市场上赢得更多的用户关注。

/ 未来的数据是多模态

人类行为是复杂具备多面属性的，我们一般只能通过对象行为和生理状态中的独立参数去洞悉用户状态。座舱监测系统需要基于多模态的方式进行开发。

当乘员之间互相交流时，我们在不同类型的多模态数据之间建立联系，如面部情绪、语调或身体姿势，以判断用户的情绪和行为。同时未来基于多模态数据的座舱监测系统还可以和车内其它传感器进行交互，更好的理解车内乘员的行为和需求。

/ 通过座舱监测系统监测酒驾

每年全球约130万人死于交通事故

超过20%的悲剧都是和酒驾相关，自从汽车出现之日起，酒后驾驶就是严重的事故安全隐患。100多年来人们采用了多种手段来避免酒后驾驶的发生，但是每年还是有很多人由于酒后驾驶而失去生命。

酒驾检测是汽车安全系统的一项重要而且紧迫的功能。当下各国政府、汽车行业、科研院校和技术公司如Smart Eye都在寻找车内侦测酒后驾驶的有效手段。

通过整合多传感器采集的数据进行数据融合，座舱监测系统可以提供驾驶员是否适合驾驶的综合评价。虽然酒驾检测的技术还在开发中，但是基于车内多传感器数据及机器学习算法，座舱监测系统的酒驾检测功能终究会实现。

/ 突发疾病

未来基于多模态数据的座舱监测系统不仅可以检测酒后驾驶，还可以用于驾驶员突发疾病的检测，虽然发生概率不如酒后驾驶，但是确实会出现在现实世界中。

实际上根据权威部门统计，在瑞典约10%的致命交通事故都和驾驶过程中驾驶员突发疾病相关。

通过技术手段在第一时间有效侦测驾驶员身体不适的迹象，车辆可以在事故发生之前及时进行干预。例如今天的座舱监测系统已经可以监测心率异常，车辆可以在其可能影响安全驾驶之前提前进行有效干预。

随着技术的发展和改进，未来的座舱监测系统可以有效预防突发疾病对安全驾驶潜在的风险。

/ 座舱监控系统如何促进自动驾驶技术更安全

随着自动驾驶技术的发展，座舱监控系统的重要性也愈发凸显。当自动驾驶技术允许驾驶员双手可以离开方向盘时，座舱监控系统对于车辆来说就从一项重要配置变成必需配置了。

目前看来还需要很长一段时间才能让驾驶员的视线和注意力从前方道路中解放出来，只要汽车还归于自动驾驶辅助车辆，人类驾驶员仍然是驾驶安全的主要责任人。

对于自动驾驶辅助车辆来说，存在人机共驾的场景，在某些场景下系统需要人类驾驶员接管车辆，这往往被称为“Hand-off”挑战，为了确保车辆控制权的顺利转换，车辆需要能够有效的识别驾驶员状态。

如果车辆侦测到驾驶员处于分心或者不适合驾驶，系统会判断继续由系统来控制车辆行驶。反之如果车辆侦测到驾驶员处于适合驾驶的状态，系统则可以将控制权安全的转移给人类驾驶员。即使在未来的汽车中，准确识别驾驶员的行为和精神状态对于行车安全来说也是非常重要的。

自动驾驶能力的提高也为驾驶员提供了更多的自由度来参与到智能座舱娱乐活动中。

随着自动驾驶技术的发展，座舱监控系统的重要性也愈发凸显。当自动驾驶技术允许驾驶员双手可以离开方向盘时，座舱监控系统对于车辆来说就从一项重要配置变成必需配置。

6.座舱监测系统应用场景

当下已经有一些汽车厂家在要求为他们的新车配置座舱监测系统了，在今后几年内我们预计配置座舱监测系统的新车将上市销售。在提升驾驶安全性的同时还提供更舒适的出行体验，未来座舱监测系统将成为我们汽车生活的一部分。

下面是几个典型的应用场景将受益于座舱监测技术。

道路安全

驾驶疲劳

用户结束了一天紧张的工作开车回家，在路途中他越来越疲劳，座舱监测系统侦测到了他的疲劳状态，立即根据疲劳指数采取了相应的应对策略。

• 语音温馨提示驾驶员下一个出口/服务区休息一会。

• 触发触觉、听觉和视觉警报

• 娱乐系统播放活泼欢快的音乐

• 调低舱内温度和氛围灯调节

• 车辆自动靠边停车休息

驾驶分心

座舱监测系统侦测到驾驶员手里拿着手机，同时通过计算其视线偏离前方道路的频率和时长来判断分心指数。同时基于其面部表情和语音识别其精神状态，系统经过综合判断认定驾驶员没有对驾驶行为保持足够的注意力，自动触发下述一项或多项安全措施：

• 语音提示驾驶员关注前方道路，不要继续操作手机

• 触发触觉、听觉和视觉警报

• 降低音乐音量

• 增加自适应续航功能的警觉程度

• 切换到自动驾驶模式

驾驶分心 – 乘客

父亲正载着女儿去托儿所，交通很拥堵他上班预计将迟到，女儿也开始哭闹，父亲想办法让她平静下来，他没有完全集中注意力在前方道路上。座舱监测系统首先识别到车内有多名乘员，而且其中一位是儿童。根据儿童面部表情和语音可以判断其在哭泣，同时识别到另一位成年人情绪比较焦虑，而且未集中注意力在前方道路上，系统立即采取以下措施：

• 娱乐信息同播放其喜欢的儿歌或者电视节目以舒缓儿童的情绪。

• 语音提示驾驶员靠边停车或者建议变更行驶路线。

L3 Hand-off挑战

驾驶员为了接一个工作电话，在行驶过程中激活了自动驾驶功能，电话中驾驶员与对方发生了激烈的争吵，情绪激动。自动驾驶逻辑根据前方路况判断需要将车辆控制权转移给驾驶员，但是座舱监测系统通过面部情绪识别和语音分析出驾驶员的当前状态不适合驾驶，座舱监测系统立即采取以下措施：

基于驾驶员的状态级别，系统未将操纵权转移给驾驶员，而是直接控制车辆靠边停车。

路怒症

拥堵的交通令驾驶员心烦气躁，他不能准时参加一个重要的会议，而且他不停的在看手机，侧方一辆车还强行插队，差点发生碰撞，这令驾驶员更加生气。座舱监测系统及时识别到驾驶员的情绪变化以及通过分析其视线在前方路面的时长和频率来判定其属于分心状态，系统判断当下为非安全驾驶条件，为了行车安全，系统及时采取措施进行干预：

• ADAS自动驾驶辅助系统降低车速，提高制动敏感度。

• 系统提醒驾驶员在下一个服务器休息一下。

• 语音提示驾驶员尝试深呼吸平复情绪。

• 播放用户喜欢的舒缓音乐。

用户出行体验

智能语音助手

驾驶员想通过语音助手设定一个导航目的地，尝试多次语音助手仍不能准确识别地址，驾驶员感到非常沮丧。通过面部情绪和语音识别，座舱检测系统识别到了愤怒和激动的情绪。为了缓解智能语音助手的错误，系统进行如下的操作：

• 尝试调整智能语音助手的语调。

• 尝试重启智能语音助手以解决识别错误。

内容推荐

朋友一起驾车出行，娱乐系统成功识别了车内乘员，包括他们的年龄区间、性别和情绪。基于上述信息，系统做出如下决策：

• 推荐适合个人画像、喜好和情绪状态的娱乐内容。

• 创建推荐音乐播放列表。

• 行程中基于乘员面部情绪反馈持续改善优化内容推荐。

网约车用户体验

网约车司机在整个行程中与乘客互动良好，乘客对司机也非常满意，全程遵守交通规则且驾驶平顺。座舱监测系统识别到了乘客和驾驶员的愉悦情绪和笑容。

• 数据被上传到云端平台，管理平台分析司机行为和用户体验。

• 每个季度管理平台对司机进行打分评比，获得最高评分的司机将获得奖励。

• 用户的评价显示在网约车出行APP用户评价中。

紧张情绪识别

司机正驾驶一辆半自动驾驶车辆，他看到前方信号灯即将变红，他不相信自动驾驶系统，正在焦虑要不要人工踩下刹车踏板。座舱监测系统第一时间识别到司机的情绪变化，系统立即采取措施建立司机和车辆之间的信任。

• 车辆发出预警，前方信号灯即将变成红色。

• 及时采取平稳制动措施。

晕车症

乘客在自动驾驶车辆上由于晕车逐渐感到不适和恶心，座舱监测系统识别到了乘客的面部情绪、语音、眼睑开合度和视线方判定乘客处于不适状态，系统立刻采取如下措施：

• 驾驶风格调整为平顺

• 调节车内空气流通速度

• 系统选择切换另一条更适合的路线

Smart Eye为用户提供业界性能领先的视线追踪系统，在复杂应用场景下提供一流的性能表现。我们的方案在汽车、航天航空、残疾人设施、广告媒体、行为科学等众多领域的人类行为和人机交互研究领域得到了广泛的应用。今天我们的客户包括NASA、空客、波音、丰田汽车、戴姆勒、奥迪、通用汽车、哈佛大学等数百个研究机构和高校。

我们的子公司Affectiva是业界领先的情绪识别AI算法供应商，帮助企业更好的理解他们的用户对其产品（内容、产品和服务）的感受，客户涵盖汽车、媒体娱乐、市场研究等行业。28%的世界500强企业和70%的世界大型广告公司都在使用Affectiva的解决方案。

我们的子公司iMotions提供业界领先的人因多模态分析软件平台，能够实现跨传感器平台的实时数据同步。

SmartEye的汽车行业量产解决方案目标是赋能主流汽车OEM的下一代车型，提供更安全、更人性化的出行体验。

Smart Eye作为专业的人因分析AI技术供应商，在复杂应用场景下解析和预判对象行为，在人类和机器之间架设一个沟通的桥梁，努力创造更加安全和可持续的未来。Smart Eye成立于1999年，总部位于瑞典，在美国、英国、德国、丹麦、埃及、日本、新加坡和中国拥有分支机构。

如果你希望了解更多或申请Smart Eye眼动仪现场Demo演示，欢迎联系我们。

东扬精测系统（上海）有限公司（Smart Eye授权代理商）

汽车电子测量部

上海市静安区梅园路228号企业广场901室

021-6380 9633

car@toyochina.com.cn

smarteye.ai

识别二维码或点击阅读原文下载：

《Smart Eye座舱监测系统白皮书》