朱冰 等：从方向盘握力识别驾驶人的人机共驾状态

朱冰

吉林大学汽车工程学院教授，博士生导师，国家级青年人才，现任吉林大学汽车工程学院副院长，中国汽车工程学会青年工作委员会主任委员，《International Journal of Vehicle Autonomous System》编委，《中国公路学报》青年编委。

主要研究方向包括汽车智能化技术、人机共驾理论、虚拟仿真测试等。先后主持国家自然科学基金项目等省部级以上项目20余项；以第一责任作者身份发表SCI/EI检索学术论文90余篇；以第一发明人身份获授权发明专利40项、美国专利1项；先后荣获中国汽车工业科技进步奖一等奖、吉林省青年科技奖、中国汽车工业优秀青年科技人才奖等。

0引 言

随着汽车智能化程度的不断提高，各种高级驾驶辅助系统与驾驶人的关联越来越密切，逐渐形成了人机共驾的概念，即驾驶人和智能驾驶系统合作完成驾驶任务的驾驶方式。在人机共驾中，驾驶人作为“人-车-路”系统的核心对驾驶过程起到决定性的作用，智能驾驶系统的一切工作应围绕驾驶人进行。然而，与智能驾驶系统的精确计算、精准控制能力相比，驾驶人的行为具有模糊、延迟、个性化等特点，而智能驾驶系统对比驾驶人而言，学习能力和自适应能力相对较弱，对于未知复杂工况的决策能力较差。两者并行控制时，存在显著的冲突特性。为了避免人机冲突，对驾驶人的人机共驾状态进行识别已成为实现和谐人机共驾的基础。

近年来，由于智能驾驶系统参与驾驶任务的主动性不断提高，人机交互不再仅限于各类指示灯、按钮、声音提醒等，以方向盘为介质的触觉交互已成为驾驶人与智能驾驶系统之间的重要沟通桥梁。针对人机协同转向控制，人机共驾状态可以分为三种，分别是接纳、正常和抵触。接纳是指驾驶人处于被动驾驶状态，不主导转向操作，由智能驾驶系统完成转向，驾驶人的上肢肌肉处于放松状态。抵触状态是指驾驶人与智能驾驶系统发生冲突，驾驶人强烈收缩上肢肌肉，形成较大的肌肉阻抗反抗智能驾驶系统的主动转向操作。正常状态是指驾驶人处于积极驾驶状态，上肢肌肉处于适当的紧张程度，能够快速响应驾驶人大脑转向指令，准确转动方向盘。在正常状态下，如果智能驾驶系统施加的主动转向控制符合驾驶人意图，且驾驶人通过放松上肢肌肉表明同意过渡控制权给智能驾驶系统，则驾驶人的人机共驾状态可转变为接纳状态。若智能驾驶系统的转向控制与驾驶人意图不符，且遭到驾驶人的强烈反抗，则转变为抵触状态。

驾驶人的人机共驾状态可以从两方面体现，一方面是在思维意识方面，即在大脑内部产生，理论上可以通过脑电图（EEG）分析等手段进行识别。另一方面人机共驾状态体现在上肢神经肌肉特性上，可以通过肌电图（EMG）等方法进行分析。然而以上这些方法均要求驾驶人穿戴一定的生理信号测量设备，难以进行实车应用。同时，这些生理信号易受干扰，信号处理及分析方法复杂，具有一定的局限性。为此，本文提出了一种新型的智能方向盘系统，通过在方向盘上阵列布置的多个压力传感器获取驾驶人的握力分布，无需驾驶人穿戴任何设备，具有较高的实用价值。

本文首先设计并搭建了一种具备握力分布测量功能的智能方向盘，在此基础上提出了一种基于握力分布的人机共驾状态识别方法。首先利用所搭建的智能方向盘采集了多名驾驶人不同人机共驾状态下的实验数据；然后根据实验数据通过最小二乘法对驾驶人的上肢神经肌肉系统进行辨识，分析了不同状态下的驾驶人上肢肌肉特性；最后基于门控循环单元（GRU）构建了Hybrid-GRU（H-GRU）模型，实现了从驾驶人握力分布到人机共驾状态的映射，并通过与常规GRU模型和经典的SVM方法进行对比，验证了模型的有效性。

1数据采集实验

1.1 智能方向盘系统

为了对驾驶人的握力分布进行测量，搭建了智能方向盘系统。本文主要针对方向盘标准握姿进行研究，即3点-9点握姿。根据驾驶人手部与方向盘的重点接触区域分布，左右两侧每侧设计了8个压力测量点，压力测量点布置有柔性薄膜压力传感器，测量点对应手部区域如图1所示，即L0~L7和R0~R7。两侧的测量点沿方向盘中心线完全对称，部分测量点如图2所示。该传感器由有机高分子聚合物制成。随着施加在传感器表面的力的增加，电阻逐渐减小。传感器后接信号调理模块，信号调理模块将电阻转换为电压并提供精确模拟信号输出。根据传感器的特性曲线，通过电压信号计算出正压力。

(a) 左手

 (b) 右手

图1 测量点对应手部区域

(a) 前视图

(b)左侧视图

(c) 左侧后视图

图2 智能方向盘系统

智能方向盘通过KistlerMSW方向盘测力传感器安装在SensoWheel SD-LC力反馈系统上。实验平台如图3所示。SensoWheel SD-LC是一种电机直驱的转向力反馈系统，能够提供逼真的力反馈，本实验采用该力反馈系统产生的正弦力矩作为驾驶人上肢肌肉的持续激励。Kistler MSW用于测量施加给驾驶人的激励力矩和方向盘转角。

图3 实验平台

1.2 实验方案

为研究人机共驾模式下驾驶人不同人机共驾状态的上肢肌肉特性和方向盘握力分布特性，采集了多名驾驶人的数据，部分数据采集结果如图4所示。在接纳状态下的方向盘转角幅值最大，抵触状态下的方向盘转角幅值则显著减小。各压力测量点的正压力随驾驶人人机共驾状态的切换而变化。从整体上看，随着状态从接纳到正常再到抵触，正压力呈现逐级增大的态势，但也有一些测量点表现为减小，还有一些测量点压力变化不大。表明各测量点正压力与人机共驾状态相关，但两者之间是非线性关系，具有显著的复杂性和差异性，因此不能根据单点的压力值来判断人机共驾状态，需要一定数量的压力传感器构成的测量点阵才能描述不同人机共驾状态下的握力分布模式。

图4 不同状态下的方向盘握力分布数据

2

驾驶人转向阻抗特性辨识与分析

2.1 驾驶人转向阻抗特性参数辨识

驾驶人转向阻抗是指在智能驾驶系统主动转向时，驾驶人处于被动发力状态下产生的阻碍方向盘转动的一种作用特性，描述了驾驶人对方向盘扰动的反应，其来源是驾驶人的生物力学系统和中枢神经系统。这种作用特性由手和手臂的惯性、肌肉和其他组织的弹性以及阻尼决定。驾驶人转向力学特性与驾驶人姿势、抓握方向盘位置密切相关，本文主要研究标准握姿下的阻抗特性，即第1节数据采集实验中驾驶人所采用的3点-9点握姿。驾驶人转向阻抗可以通过三个参数表征，即Jeq、Beq和Keq，分别代表驾驶人上肢肌肉等效在方向盘上的惯量、阻尼和刚度。阻抗特性参数可以代表驾驶人上肢肌肉的紧张程度。通过辨识驾驶人在不同状态下的转向操作中体现出的阻抗特性，就可以得出驾驶人上肢肌肉的紧张程度，而无需测量驾驶人相关肌肉处的EMG。

驾驶人上肢肌肉的紧张程度可以在一定程度上反映出驾驶人人机共驾状态。当驾驶人抵触智能驾驶系统的操作时，必然会加强肌肉收缩以提供更强的转向阻抗。而当驾驶人处于接纳或正常状态时，根据发力目的不同上肢肌肉处于部分放松和部分轻度紧张状态。通过分析驾驶人转向阻抗特性有助于提高驾驶人人机共驾状态识别的准确性。采用最小二乘算法对阻抗特性参数进行辨识。

2.2 参数辨识结果与分析

将参数辨识结果绘制成箱线图，如图5所示。在接纳状态下，驾驶人服从智能驾驶系统的控制，不主动施加转向控制，驾驶人对智能驾驶系统的转向操作影响较小，驾驶人施加在方向盘上的力主要用于保持双手扶在方向盘上不脱开，此时肌肉相对放松，惯量、阻尼、刚度均处于较低值。当驾驶人处于正常驾驶状态，驾驶人将对上肢肌肉进行一定程度的预紧，即提高肌肉的响应速度，方便驾驶人进行快速精准的转向操作。此时惯量、阻尼和刚度相对于接纳状态下的数值均有小幅度不明显的提高。当驾驶人抵触智能驾驶系统的转向操作时，其上肢肌肉处于高度紧张状态，表现为阻抗特性参数大幅度提高。接纳状态下的惯量和阻尼分布区间较正常状态的宽，而刚度又比正常状态的窄。其原因为接纳状态下驾驶人上肢肌肉放松，由牵张反射引起的生物肢体刚度较小，即表现出的刚度较为一致，处于较低水平。此时，由于上肢肌肉放松，表现出的惯量和阻尼大部分取决于驾驶人的真实双臂质量、肌肉强度等人体生理性差异，而非肌肉紧张程度。因此，由男女、体重、身高等差异导致惯量和阻尼分布区间较宽。在正常状态下，驾驶人为了准确转动方向盘，通过适当提高肌肉紧张程度的方式弥补了生理性差异，表现出近似的阻抗特性，即特性参数分布区间相对较窄。抵触状态下特性参数分布区间最宽，原因为不同于接纳和正常状态，抵触状态考验了驾驶人的肌肉力量，受限于不同驾驶人的上肢肌肉水平，肌肉力量强的驾驶人可以输出更大肌肉阻抗，而肌肉力量弱的驾驶人仅能产生的相对较小的阻抗。

(a) 惯量（Jeq）

(b) 阻尼（Beq）

(c) 刚度（Keq）

图5 阻抗特性参数的总体辨识结果

驾驶人转向阻抗特性的参数辨识对于建立基于驾驶人神经肌肉力学特性的驾驶人模型并在此基础上进一步设计人机共驾系统具有重要意义和指导作用。同时该参数辨识结果还可作为驾驶人人机共驾状态识别模型的过程训练输出，在识别模型中代表驾驶人肌肉紧张程度，辅助提高模型的识别准确率，具体过程将在第3节进行介绍。

3

驾驶人人机共驾状态识别模型

3.1 H-GRU模型概述

GRU是近年来提出的一种基于门控算法的循环神经网络。循环神经网络能够利用内部的记忆机制处理时序数据回归问题。然而，由于长序列递归导致的梯度消失问题使简单循环神经网络难以学习长距离依赖。门控算法是循环神经网络应对长距离依赖的可行方法，其设想是通过门控单元赋予循环神经网络控制其内部信息积累的能力，在学习时既能掌握长距离依赖又能选择性地遗忘信息防止过载。

为了进行驾驶人交互状态的识别，基于GRU搭建混合类型输出模型，即H-GRU模型，模型框架如图6所示。图6中蓝色框部分为阻抗特性回归部分，包含序列输入层、GRU层，全连接层和回归输出层。该部分为回归任务，根据驾驶人的方向盘握力分布时间序列辨识出驾驶人肌肉阻抗特性，即Jeq、Beq和Keq。状态分类部分为图6中的红色框部分，包含由序列输入层和第一部分全连接层组合而成的合成输入层、GRU层、全连接层、Softmax层和分类输出层。该部分是在第一重输出的基础上完成的分类任务。将驾驶人方向盘握力分布时间序列与回归得到的驾驶人肌肉阻抗特性参数进行组合共同输入到分类任务中，进而实现驾驶人人机共驾状态的分类。

这种双重混合输出的方式主要有两个优点：一是利用先前参数辨识得到的驾驶人肌肉阻抗特性参数对H-GRU模型中的部分关键层进行初步训练使模型具备了一定的先验知识，即模型预先获得了辨识驾驶人肌肉阻抗特性的能力，而肌肉阻抗特性又隐含了驾驶人人机共驾状态。因此，通过引入第一重的驾驶人肌肉阻抗特性回归任务能够提高驾驶人人机共驾状态分类识别准确性。同时，通过回归辨识得到的驾驶人肌肉阻抗特性具有一定的物理意义，有助于解释神经网络分类结果；二是过程中输出的驾驶人肌肉阻抗特性对于人机共驾中的驾驶权分配与切换、主动转向力矩控制、驾驶人行为理解等方面具有重要价值和指导意义，在驾驶人人机共驾状态识别过程中得出驾驶人肌肉阻抗特性并提供给其他控制算法和模型可以显著提高其性能。

图6 H-GRU模型框架

3.2 模型构建

由于H-GRU模型包含回归和分类两个部分，因此需要针对第一重回归部分和第二重分类部分分别进行训练。H-GRU模型的总体输入为经预处理的方向盘握力分布和方向盘转角，即16个压力传感器测得的正压力和方向盘转角合成的17维时序数据。

对于第一重回归部分，选取总体输入及其对应的经最小二乘法辨识出的肌肉阻抗特性参数共98段有效时序数据作为训练数据。总体输入作为回归部分GRU层的输入，经最小二乘法辨识得到的三维阻抗特性参数作为回归输出。75%的数据片段用于训练，其余25%的数据用于测试。选取均方误差（MeanSquare Error，MSE）作为损失函数。训练过程如图7(a)所示，可以看出Adam作为目前最流行的优化器相比SGDM优化器和RMSprop优化器表现最为稳定且收敛速度更快，因此选取Adam优化器作为优化算法。同时测试了Adam优化器在三种学习率{0.001,0.01,0.1}下的训练效果，当学习率为10-2时可以达到更低的MSE，因此学习率设为0.01。

对于第二重分类部分，GRU层的输入由两部分组成，分别为总体输入和由回归部分得到的肌肉阻抗特性参数，两者组合成20维时序数据作为GRU层的输入。分类部分的输出为各时刻数据点对应的驾驶人人机共驾状态类别，即接纳、正常和抵触。用于训练和测试的数据段与回归部分相同。训练过程如图7(b)所示，SGDM优化器和RMSprop优化器难以达到较为理想的准确率。Adam优化器在学习率为10-1时可以更快达到较高的准确率，但较为不稳定，而当学习率为0.01时可以达到较好的准确率，因此选定Adam作为优化器并将学习率设为0.01。

(a) 回归部分

(b) 分类部分

图7 训练过程

为了对所提出的H-GRU模型进行对比，采用了普通GRU模型和SVM模型在相同数据集下进行验证。用于对比的GRU模型和SVM模型的输入与H-GRU模型输入相同，均为16个压力传感器测得的正压力和方向盘转角合成的17维时序数据，输出为H-GRU模型分类部分的输出，即驾驶人人机共驾状态类别。采用查全率、查准率、F1度量和ROC（ReceiverOperating Characteristic）评价模型性能。

4

结果与分析

采用本文提出的H-GRU完成基于驾驶人握力分布的驾驶人人机共驾状态识别，同时利用GRU和SVM实现相同的分类任务进行对比。在避免发生过拟合和欠拟合的前提下，训练得到三种模型。分别绘制三个模型在测试集上的多分类ROC曲线，如图8所示。可以看出H-GRU模型和GRU模型的每类ROC曲线都能够包络SVM模型的ROC曲线，H-GRU和GRU的辨识效果显著高于SVM。这种辨识性能的提升可以归因于神经网络模型可以更好的映射驾驶人握力分布和人机共驾状态之间的高维非线性关系。

(a)H-GRU

(b) GRU

(c) SVM

图8 模型ROC曲线

表1 模型分类性能

三种模型的分类判别结果查准率、查全率和F1分别如表1所示。H-GRU模型的查准率和查全率均显著高于GRU模型和SVM模型。利用F1度量对查准率和查全率进行调和，进而可以判断出本文所提出的H-GRU模型的对驾驶人人机共驾状态的辨识效果最好。针对H-GRU模型和GRU模型，可以看出两者对接纳和正常两种状态的辨识性能要低于对抵触状态的辨识。通过第2节的阻抗特性辨识可以看出，接纳和正常状态下的驾驶人肌肉特性差别不大，而与抵触状态的差别较大，表明两种状态之间的差异特征不够显著，因此对接纳和正常的辨识性能要略低于抵触。H-GRU相较于GRU的性能提升可以归因于加入的肌肉阻抗特性回归部分。通过加入阻抗特性回归部分，相当于加入了先验信息，能够利用局部训练的模型根据驾驶人握力分布首先辨识肌肉阻抗特性，而肌肉阻抗特性可以在一定程度上反映人机共驾状态。在此基础上，将辨识到的肌肉阻抗特性与握力分布重新组合成特征输入，实现人机共驾状态的辨识。通过这种方式使综合辨识准确率从GRU的90.62%提升到H-GRU的97.59%，提升效果较为显著。

图9展示了应用H-GRU模型对一次连续测试过程的驾驶人人机共驾状态的识别结果。在6s左右出现了一个时间步长的误识别，原因为此时驾驶人从接纳状态切换为抵触状态，握力分布输入出现了较大的跳变引发了模型误分类。在其他状态切换时刻，如2s和9s处也出现了0.1s左右的延迟识别。在状态切换时刻，驾驶人本身的操作就有一定的模糊、延迟和不确定性，在这种情况下，模型可能会在驾驶人状态切换时出现极短时间的误分类，属于正常现象。由于时间极短，这种误识别对后续的应用几乎不会产生影响。本文提出的基于驾驶人握力分布的驾驶人人机共驾状态识别方法能够通过学习不同状态下的握力分布模式来实时准确地辨识出驾驶人人机共驾状态。

(a) 握力分布输入

(b) 模型分类输出

图9 状态识别结果

5结 语

（1）本文将人机共驾下驾驶人与智能驾驶系统的交互状态分为接纳、正常和抵触三种，提出了基于驾驶人握力分布的驾驶人人机共驾状态识别方法。设计并搭建了具有多点握力测量功能的智能方向盘系统，初步实现了标准握姿下的驾驶人方向盘握力分布感知。该系统相比于EEG、EMG等感知系统更具备实用性，无需驾驶人穿戴额外测量设备。

（2）本文构建了H-GRU模型，利用通过最小二乘法辨识得到的驾驶人转向阻抗特性参数结果对模型中的部分结构进行预先训练，使模型具备了一定的先验知识，在此基础上实现了基于握力分布的驾驶人人机共驾状态识别。结果表明，该模型的分类性能优于其他模型。H-GRU模型不仅可以实现人机共驾状态识别还能够输出驾驶人转向阻抗特性参数，可以为建立驾驶人模型或人机共驾策略等提供帮助。

（3）本文所研究的驾驶人握力分布主要针对标准握姿，所搭建的智能方向盘系统握力采集区域有限。下一步研究将进一步扩大智能方向盘的采集区域并结合眼动等信息，开展任意握姿下的驾驶人多维度状态识别。

本文主要内容出自于《中国公路学报》2022年第3期 AI赋能网联车辆·大数据驱动智能交通专刊