车载HMI人机交互体验或将成为下一个UX设计热点

智联电动车的风口越来越大，车内的HMI人机交互体验发生了什么改变，会是下一个热点吗？



现在为什么要讨论这个话题？

首先先来看下如下时间表：



截止 2017 年 10 月，全世界几乎所有的主流汽车公司都宣布了电动汽车的转型计划，而Volvo更是宣布 2019 年后将只推出电动汽车。而我国已经连续三年占据全球量产电动车产量第一。

其次5G网络离正式商用（2020年）越来越接，华为更是在2018世界移动通信大会率先发布了商用芯片和终端。5G通讯的低延时、高接入特点， 应用到电动汽车上，如自动驾驶、AI人工智能辅助应用、远程驾驶、系统更新、影像传送等。无疑将会给汽车带来一次体验升级革命。

不亚于4G网络带来的智能手机爆发周期。



雄安5G远程自动驾驶行驶测试完成，网络时延在6毫秒以内

(6ms是什么概念，100公里时速的车一秒钟移动27.8米，6ms=0.006s，引起的误差为0.16米也就16厘米，只比iPhone X长了不到两厘米)

要问过去十年中哪个消费类技术市场发生了变化和进步？答案肯定是手机。触摸屏提供的相对以往整容式的变革用户体验。随着芯片，触控显示屏和移动网络技术的进步，移动设备变得越来越实惠，实现了前所未有的大规模普及。在不久的将来，电动汽车的普及很自然会改变汽车的人机交互体验，最起码的用像素代替物理按钮和旋钮。

虽然车载HMI有很大的潜力，但还没有看到汽车行业出现如苹果手机的用户体验超越诺基亚按键手机那般颠覆的改变。

随着互联网公司对智能电动车的投入与关注，蔚来NIO、拜腾BYTON、乐视FF、小鹏汽车等新一代智能车企陆续推出产品。最近的说，2018年的日内瓦车展传统车企保时捷发布的Mission-E全新的概念电动车(19年量产)，起码慢慢可以感受到了车企对新的人机交互体验变革的诚意。

来看下次世代的车载HMI带来的不同体验



Tesla model X自动驾驶





BYTON拜腾内景



蔚来NIO ES8



保时捷mission-e



HUD信息投屏



超大视野的横屏中控



仪表盘眼球检测移动

手势立体感应操控



无人机跟随感知周边地形



HMI的定义

HMI是Human Machine Interface 的缩写，“人机接口”，也叫人机界面。人机界面（又称用户界面或使用者界面）是系统和用户之间进行交互和信息交换的媒介， 它实现信息的内部形式与人类可以接受形式之间的转换。凡参与人机信息交流的领域都存在着人机界面。

HMI分类

1.全面接入汽车

例如Tesla X，硬件、软件和人机界面都是车厂整合。 不仅能够实现多媒体系统的深度集成，而且还能够与驾驶员进行车内诊断和控制系统的深度集成。连接互联网络同时提供API接口，可以自定义应用程序和独立开发者提供定制服务等。



2.使用软件平台，定制HMI单元

这一类属于服务商提供软件平台，车企自己定义介入的硬件与服务 如“Microsoft Embedded – Automotive 7 ”或Blackberry的QNX）的定制HMI模块，可将汽车中的不同设备和传感器集成到一个平台中。

3.将平台设备集成到HMI

如Apple Carplay、Android Auto、微软嵌入式系统等，这种模式在之前被看做是汽车操作系统移动开发的下一个领域，和普及移动系统之间的衔接会更好。但这种模式不过是苹果、谷歌、微软寻求销售更多设备或系统的额外触点。弊端在于各自系统的壁垒，如CarPlay系统需要插入苹果手机。但在相当一段时间内这也是可能的一种解决办法，因为这减少了HMI的整合成本，而漫长的汽车设计流程周期常常掣肘着汽车人机界面整合的发展。




Apple和Google接入自己移动终端

数字时代HMI的交互改变

多年来驾驶汽车的本质并没有改变。具有特定驾驶位置、方向盘和控制系统，仪表盘等，这种顽强(不思进取)的一致性倒是帮助了汽车行业，让用户只需要学习驾驶一辆车就可以驾驶任何汽车。

但随着汽车的电动化以及电子设备集成到HMI（例如GPS，远程信息处理，信息娱乐系统）中。这些元素的引入产生了新的交互复杂层次，完全改变了认知模型和期望。

在典型的交互设计方式中，我们可以通过查看以下分析来对比过去和现在的HMI：

过去的HMI交互特点：

控制装置

提供控制车内功能的工具或设备（例如音乐播放器上的旋钮）。

可信度

一个控件提供的操作性质，执行一个动作（例如，一个旋钮可以在一个轴上转动）。

反馈

控制器带来的变化或反应（例如旋钮旋转时的音量变化）。

映射

为控件开发一种’感觉’ – 了解控件的功能和位置（一位有成就的钢琴家可以通过“感觉”或肌肉记忆来演奏乐器）。

可学性

能够理解控件随时间变化的方式（例如，顺时针旋转旋钮以增加音量）。

模式

可以使用和改变工具或设备的方式的数量来切换到新功能（例如，也可以使用同样的不同功能的旋钮来控制亮度）。

在昔日的汽车内饰中，表盘和旋钮的空间排列，操作习惯会印入到人的记忆以及学习系统中。



由于电气复杂性较低，机械元件（如旋钮，开关和滑块）提供了控制和直接机械反馈 。模式少得多，因为汽车上的元件和控件之间有直接的联系。

但对于现代HMI来说，这是一个完全不同的故事。汽车中还有更多的可控元素， 导航系统，远程信息处理，行驶控制和信息娱乐系统等等。



屏幕和控制器 – 实际上它是如何学习的？



现代汽车的人机交互界面

这增加了认知的倍数级复杂性，体现在这几点上：

在不同模式之间切换

（并且学习它们在哪里）不是随着时间的积累建立单个心智模型。举个例子，Tesla的位置移动和导航之间需要在不同界面单元切换设置，层级、深度之间的切换会不尽相同。



淡化映射或可学习的GUI界面

控件在哪里，它们的功能是什么？他们可以轻松学习吗？

易用性

如何移动圆形旋钮与屏幕上各模式之间的移动有关？我们能否重新获得如传统汽车中的直接控制权

反馈

目前在界面中依赖视觉反馈可能会让人分心。用听觉和/或触觉反馈来辅助视觉反馈可能是解决办法。

一致性和记忆

如果汽车系统或者汽车平台改变了，用户极有可能必须从头开始重新学习一些基本控制。随着这些多形态的人机界面的出现，人们现在面临着前所未有的复杂程度以及拥挤交通带来的额外压力。

认知和工作记忆模型的局限性

为了理解认知的局限性，我们首先需要了解人们如何通过构建长期和短期记忆以及随着时间的推移而有意识地与世界接触。

Baddeley＆Hitch在2000年提出的“工作记忆模型”（1974年第一次）描述了“固化”长期记忆系统，“流动”短期记忆系统和有限容量“情景缓冲器”之间的相互作用。固化的长期记忆系统包括语言，行政和形式形态的知识，以及肌肉记忆，而“流动”的短期记忆更多的是视觉和听觉。



可以认为驾驶行为是固化的长期记忆，因为它使用长期的肌肉记忆，而围绕驾驶任务消耗的信息 -  谁在车前行走？我在哪里开车？我在听什么？ - 可以被认为是意识任务体验的一部分，并且在任何特定时间处于情景缓冲区中。

情景缓冲区的视觉，听觉和运动提示的能力有限，因此不允许轻松构建技能或肌肉记忆的人机界面很容易使其负担过重。这反过来又导致驾驶员由于认知过载而造成的糟糕决策和挫折感。

多年来，人机交互研究已经提出了几种解决认知过载问题的关键方法。其中一种方法就是乔治米勒在1956年提出的组块化的概念，即个人只能在其工作记忆中以正确的序列顺序记住或处理7个信息块。这基本上意味着分组项目更容易记忆，因为分组有助于语音和视觉空间记忆。



一个典型的例子-分组的电话号码意味着记忆

分组的概念似乎也适用于视觉形式 – 类似分组的形状或模式也更容易记住。也就是格式塔原则里面的接近原则。

HMI的“硬”“软”交互

“硬”交互

可以被定义为由驾驶员执行的有意操纵的动作。例如：使用按钮更改驾驶座位高低前后，通过娱乐系统播放音乐或将目的地信息输入到车载GPS中。

“软”交互

可以被定义为由机器执行的动作，作为用户提供的非有意输入。自动取消转向灯信号是软交互的一个例子，机器在没有任何用户输入的情况下自动完成一系列动作。

特别是后一种交互方式，随着嵌入式内部传感器的出现以及智联汽车概念的落地。其中一些可能性已经在HUD（平视显示器）中显示的额外的场景信息，内部照明的自动调光以及对驾驶员眼动的跟踪。软交互需要在执行过程中保持最大程度的关怀和适时性，因为在辅助和分心之间仅一线之隔。



A.带有嵌入式触摸控制的触觉控制-混合接口



宝马i-Drive Touch，可控性以及将圆形运动映射到屏幕上的线性移动





宝马i-Drive Touch

通过在控制旋钮上引入一个触控板，这种混合交互形式让输入体验得到了提升，因为它呈现了更加可操作性及丰富的屏幕控制。

B.带触摸反馈的触摸屏



正如保时捷918和特斯拉Model S的大屏幕迭代所展示的那样，触摸屏正在成为汽车HMI中核心的控制模式。

虽然它们似乎提供了一个简单的选择，但它们在可学习性上存在问题，正如前面提到的那样。这也可能会分散驾驶员到的注意力，因为驾驶员必须始终依靠视觉反馈，并且不能随着时间的推移形成肌肉记忆或感官映射(如看到钢琴键知道可以弹奏音乐一般)。

在迪士尼研究中进行的一组有趣的实验指出了可能的方向，触觉渲染算法用于模拟触摸屏表面上丰富的3D几何特征（如凸块，脊，边缘，凸起和纹理）。



感知苹果的凸起



感知化石的凹凸起伏

C.带视觉和听觉反馈的手势控制

使用手势来控制HMI的某些方面是一个令人兴奋的概念。这主要是因为它提供了早期汽车中存在的直接控制和反馈的机会，虽然体验上不完全一样。

3D手势数据的感测越来越容易，不仅因为低成本的传感器和处理器，而且随着更好的算法变得更加实用好用。

由于像Leap Motion和Kinect控制器这样的小工具，3D手势控制作为一个概念也在人们的头脑中扎根。



我们不仅可以检测身体特征的宏观变化，如点头，面部位置和手势，还可以检测眼睛运动等微小变化。然而，低成本计算机视觉中出现的新交互模式尚未完全分好类和理解消化，这又给感官映射和学习手势界面时提出了挑战。



和手机的2D表面触控手势不同，实际上空间手势有数百个3D手势的可能性，并且需要时间来学习和理解设定模式，因此在目前状态下不能依赖作为纯粹的交互  - 尤其是在安全方面。

这在最初使用Leap Motion控制器和Kinect作为车内控制的主要模式的实验中确实是一个关键问题。研究发现手势交互不一定直观。物理交互的丰富反馈 – 点击按钮，手柄的移动，齿轮的切换 – 还没有很好地转化为模糊的，数字化的表达方式。

如下使用 Denso和Chaoticmoon 的Leap运动控制器应用demo。没有按钮 – 只采用视觉反馈 – 这引入了细粒度控制和可学习性的问题。



这个细粒度控制问题一直是研究机构过去几年的重点，迪士尼研究所进行的这项探索是有趣的 -  “Aireal – 自由空气中的交互式触觉体验”。



他们创建了一种新的低成本，高度可扩展的触觉技术，在半空中提供富有表现力的触觉感受，作为创造增强环境的长期愿景的一部分，这些环境可随时随地提供引人入胜的交互式体验。



AIREAL装置向使用者的手发射称为涡流的一圈空气。涡流可以在使用者的手上施加力量，从而实现一系列动态自由空气感觉。

D.（语音控制接口）声音控制和反馈

自《太空漫游》中“哈儿”(HAL 9000强人工智能电脑)出现以来，基于语音交互控制的界面已经有了更多的想象空间，15年的电影《她》（Her）中也有高智能的AI系统。尽管我们没完全实现与机器进行类似这样的对话，但由于自然语言处理和识别的不断进步，近几年来AI方面的快速发展让我们看到了曙光。



蔚来汽车的NOMI 人工智能系统

NOMI基于强大的车载计算能力和云计算平台，集成了语音交互系统和智能情感引擎，创造出新的人车交互方式，第一次让车从一个机器，变成一个有生命，有情感的伙伴。



在移动操作系统中，Siri和Google
Now在与Nuance等公司提供车载互动方面也发挥了强大的作用。

语音控制的场景应用有两个因素，一个是取代物理和数字控制进入没有用户界面的地方，一个可以与HMI自由交谈，二是最大限度地减少HMI手动操作产生的干扰，从而提高安全性。

人声交互设计 – 一个新的挑战

在下一代用户界面方面，语音可能是一件容易的事情，但我们需要在设计相同设计之前认真理解其含义。研究中我们发现以下因素是需要考虑：

离散和连续控制

这是按钮开关状态与旋钮连续旋转之间的差异。语音在作为一种有效的离散控制（例如“打开收音机”或“收音机”）方面起着重要作用，但在改变音量时可能不如连续控制那样有效，该音量在一定范围内运行，例如“增加音量……使其更高……更高……“，因为它是一个抽象的，模拟的，不精确的概念。

然后，我们进入实际允许用户设置预设的模糊区域，以使得计算机理解他/她想要实现的或基于时间的学习，其中计算机通过测量过去的交互来理解意图。例如“更高”可能意味着增加20％。如果不仔细处理，这种模糊性可能会导致混乱和沮丧。当然随着人工智能的深度学习及神经网络的不断发展，语音控制的不断学习适应将解决这个问题。

“字符串”和“列表”的问题

在处理输入的字符串（字母数字数据输入，例如Sat-Nav）和它在驾驶员身上产生的认知负荷方面存在挑战。

通过消除通过键盘输入文本的需要，这是人们认为语音输入理想的地方。但研究指出了相反的情况。

“目的地输入任务是最耗时的，在前两项研究中平均需要111秒才能完成。任务完成时间不是问题语音识别的问题，因为大多数时候系统在解读司机的声音时没有什么麻烦。相反，这是一个界面设计的问题。“

界面设计的复杂性来源于该技术带来的许多多模式需求。其中包括必须记住界面所阐述的信息列表。其中之一就是一种叫做’定向响应’的行为 - 当驾驶员对人机界面进行说话时，这种行为通常采取姿势微妙的，看似无意识的姿态变化。

有效处理研究发现的上述问题的一种方法是提供适当的确认 – 视觉和听觉。把整个人视为一个整体，而不是只专注于耳朵和声音。



定向响应通常依赖于视觉反馈对驾驶员的口头输入。例如，苹果CarPlay一直试图通过尽可能地暂停用户界面来解决这个问题。但是这些自动行为模式对界面部分的影响还没有被详细研究。

识别语音中的情绪

这似乎是自然语言处理中的下一步 – 情绪和情绪是车内反应的触发因素。

E.计算机视觉辅助呈现的软交互

相机追踪像素数据中的微动的能力允许汽车内部的传感器检测驾驶员的生理数据。这可以产生同步（实时）和异步反应（具有故意的时间延迟）。

通过同步反应，我们指的是对生理变化的即时和实时反应，如驾驶员眼睑的运动或对注视检测的反应。

偶尔出现的移动可能意味着疲倦的司机，因此汽车可能会促使司机休息或为司机提供最近的高速公路服务站的路线。

异步响应是基于时间的。例如，跟踪驾驶员在旅程中的心率，并向他们展示数据尖峰处的热点。就像汽车在旅途中的燃油消耗量变化可以直观量化一样，我们可以对生理数据进行比对和直观体现。



新的’Kinect’能够检测生理数据中的微小波动

F.新一代显示技术(如HUD)呈现额外的场景信息

我们可以打破中央控制台作为信息呈现中心，并根据何时需要数据（时间）以及需要何处（空间）来为驾驶员提供显示。



例如，可以将信息分解成多个显示，以便在驾驶员需要时提供转弯的导航数据，可能使用HUD。该信息也可以通过凝视检测技术显示在驾驶员正在看的地方。



越野车透明的引擎盖(可以看到下方的路面情况)

LandRover Discovery隐形发动机概念是一个不错的想法，通过格栅摄像机将路面信息投射到HUD可以直观的看到路面情况。通过使用摄像头实现数字化沉浸式应用，我们期望在车载HMI中看到越来越多的应用，主要用于增强现实。



宝马的’未来豪华车’为驾驶员提供模拟影像HUD，它通过直接在视线内投射信息来增强现实世界的视野。建筑物，交通标志和危险可以直接在真实环境中突出显示，有选择地引导驾驶员注意特定信息。

场景移情

我们处于车载用户界面空间的曙光之中，值得一提的是，如前所述，除了屏幕上的用户界面外，还有与汽车的互动。

虽然我们确实看到了屏幕的未来，并通过借用智能设备来增强车载体验，但更具针对性的方法具有更大的潜力，无论是与否，还是没有任何平台偏差。

与智能手机和应用程序设计一样，场景和用户需要处于车载HMI设计的最前沿，但它们往往被忽视。驾驶汽车的人与坐在家中沙发上的人的情况完全不同。这是“场景移情”一词的来源; 理解和设计一个特定的场景。

以地图为例。地图和导航显然适用于汽车领域，但这并不意味着简单地将诸如谷歌地图这样的无处不在的服务放到屏幕上。驾驶员消化地图的时间远远少于行人，因此必须仔细考虑选择显示哪些信息。

可能不需要显示不属于通往目的地的路线的道路。Tom Toms和其他这样的设备已经采用了相同的背景思想 – 它们是针对特定环境定制的，量身定制的设备。所以当然不能再加上电子邮件或Facetime的任何人的功能了。

安全性当然是一个主要考虑因素，因此车载HMI的设计对于其他用户界面来说是独一无二的。许多最近的文章都提出了汽车屏幕的安全问题，即潜在的驾驶员分心。

车内体验主要涉及驾驶员，但他们并不总是驾驶。有进出汽车，等待交通和其他许多情况。乘客座位上的人，后面的孩子，甚至家里的狗都在行李箱里呢？如何做出与城市交流并对环境做出反应的汽车呢？一个质量，安全，愉快和美丽的汽车人机界面将考虑到所有这些故事或者更多。

即使有安全意图，有时候视觉平台，即屏幕或平视显示器是最好的沟通方式。

有许多技术和实用的方法来满足这一要求，从明显的每个乘客的多个屏幕到更抽象的想法，例如驾驶员和乘客看到不同但相关的信息的立体屏幕以及注视检测检测谁在看屏幕，驾驶员优先。

所以，从UX和UI的角度来看，我们已经可以看到车内环境需要新的思考和设计。用户界面可以帮助解决这些实际问题和功能问题，但是解决与车内HMI相关的一些情绪问题也有很长的路要走。