自动驾驶多车协同与人机协同现状详细总览

1. 整体概述

自动驾驶车-路-云一体化的终极理想框架可以大概用图1展示。图1中从上至下分别为云端层->车队列协同控制层->单车自动驾驶/人机共驾层。这三层每一部分都对应着一个很大的领域，由于知识门槛的高度不同，大部分入门者最开始接触的内容为“路径规划”，其在车路云框架的大概位置见图1中底部。这部分内容是很多后续研究的重要基础（不论多车还是人机共驾），我已通过两篇近两万字的博客尽量详细的讲述了这部分的大概内容（自动驾驶路径规划与行为预测最接地气详细综述、自动驾驶决策控制及运动规划最详细最接地气综述）。接下来将在本篇博客内介绍的内容为多车协同控制与人机共驾，其与路径规划的“分层嵌套”见图1。由于多车协同与人机共驾本身也是两个非常大的研究领域，从通信技术、到云端边缘计算、到车辆控制、到驾驶员状态预测等等，本篇博客未能做到全面，而是侧重于其中的“控制”问题进行展开介绍，旨在以低的知识接受门槛，获得高的知识广度。做一篇这样的博客很费时费力，如果内容有帮助到您的话，麻烦给个赞吧谢谢了！

图1. 自动驾驶车-路-云一体化后的理想框架

2 . 基于V2X的车辆协同控制

车路云协同控制的理想交通架构如图2所示，从中可看出在智能交通系统的交通流控制、车车协同控制层面，最基础的两个元素为通信方式与控制形式：

图. 2. V2X下的智能交通系统与协同控制在交通流成员通信方式中，根据成员对象可一般可将通信方式分为：vehicle to vehicle (V2V)、vehicle to infrastructure (V2I)与vehicle to person (V2P)等，而目前研究最深入的内容主要为V2V与V2I。具体的通信协议包括很多种，常见的有：short-range communications (DSRC), cellular networks、Wi-Fi、LTE。Dey[1]利用DSRC与Wifi进行V2V通信，利用cellular networks LTE进行V2I通信。通过前端车辆碰撞仿真发现，在传输环境信息时，Wifi与LTE的通信协议切换时间最高可达25s，而DSRC与LTE的切换时间仅6s。Gerard Aguilar Ubiergo [2]利用DSRC与LTE进行V2I通信，然后在能耗与排放的仿真分析中得出结论：LTE比DSRC更适合做V2I通信。目前主流的V2X方式为用DSRC做V2V通信，用LTE做V2I（有很多高速收费站采取DSRC的通信协议，这种协议速度较快但覆盖面狭窄。LTE与之相反）。关于通信协议的进展，感兴趣的读者可去看文献[3-5]。本文主要讲解接下来的协同控制部分。一般来说，根据是否存在中央控制器可将协同控制分为：集中式与分布式协同控制两种。集中式控制通过中央控制器采集交通流信息，并直接给出交通参与者所需执行的控制信息。该中央控制器一般为交通信号灯等交通管理单元，同时通过V2I的方式向各交通参与者传输信息，整体形式如图2所示。与之相反，分布式协同控制不需要中央控制器。分布式的策略通常将多辆车组成一个VANET（可以理解为车队列），VANET内的车辆控制指令通常来自于内部，例如五辆车形成直线队列，后四辆车听从第一辆车的领导，即leader-following模式。当以车队列的形式行驶时，车辆通信方式除了V2V以外也可涵盖V2I，即接收Road side unit给出的前后方交通流信息，以求提前决策、提升交通吞吐量。这种混合车队列以及Road side unit的方式可以被理解为混合式协同控制。

图. 3. 分布式、集中式与混合式协同控制区别

接下来根据分布式与集中式两种协同控制方式，概述各部分研究内容。其中分布式协同再细分为单车独立控制与多车联合控制。（混合式穿插在其中讲述）

2.1 分布式-单车独立决策

该策略下，智能车（IV）通过V2X的通信方式获取外部信息，然后一般利用基于概率或学习的算法进行单车决策控制。该类研究的重点内容其实与平常的单车决策控制很类似，然而与常规的激光雷达等车载传感方式下的决策控制不同，该类研究需要额外考虑由V2X通信技术的延迟带来的控制稳定性问题，以及由于通信丢包问题导致的控制不确定性问题。V2X技术的引入，提升了传统单车决策控制技术的应用范围。文献[6]首先利用LSTM预测车辆驾驶意图，然后基于优化的方法进行接下来的轨迹规划。该驾驶意图可由方向盘转角等变量表示。然而在V2X引入后，可以通过车辆网的方式更准确地获取外部车辆的驾驶意图，因此提升整体决策控制的性能[7,8]。Chen [9] 使用V2I获取外部车辆的状态信息，包括速度、加速度和驾驶意图，然后使用BP神经网络网络预测车辆的驾驶意图。最后使用卡尔曼滤波器估计车辆轨迹，并根据轨迹计算碰撞风险。Makarem [7]使用V2V获得通信范围内所有车辆的速度和位置。然后将这些作为约束条件纳入模型，然后构建线性二次型优化方法进行求解，获取了驾驶安全性与实时性的综合最优。V2X在对安全性要求较高的场景中，如车辆跟随场景中，具有较为明显的优势。传统的方法在获取驾驶意图方面效率较低，为保证驾驶安全，其应用场景受限于低速、相对车距远的工况。在跟车问题的碰撞概率问题上，Jean-Russo [10]通过BP神经网络结合V2V技术进行碰撞概率分析。该方法通过V2V获得前方车辆的状态信息和制动意图。然后通过将以下信息输入BP忘了来估计碰撞概率:前方车辆意图、雨水传感器的数据、眼睛跟踪传感器的数据、驾驶员传感器的数据和环境感知传感器的数据。然而结果表明，该类方法若不考虑制动意图，最终预测出的碰撞概率较高，因此导致要求的车车安全间距更大，不适用于多车场景[11]。

2.2 分布式-车队列形式

当多辆车通过V2X进行信息共享一起行动时，便可构成协同控制中的一个车队列（vehicle platoon）。因此控制重点从单车为基本元素转换为platoon做基本元素。进行队列控制的第一步为构建跟车模型，该模型最早出现在自适应巡航控制（ACC）中。常规的ACC系统通常使用雷达等传感器获得前方车辆的相对距离和速度，然后通过相对车距、车速以及加速度模型进行跟车最优控制。然而这种方式获取的传感信息噪声较强，从而较强的影响了控制稳定性。除此之外，文献[7]指出在此控制形式下，ACC的市场普及率须达到至少20%才能较为明显的提升交通吞吐量以及缓解其他交通问题。V2X的出现使得这一进程快速推进，其中较为出名的PATH项目结合ACC与V2X进行车辆控制[8]，在实时性、控制安全性以及对不确定性环境的应对方式均有较好表现。

图. 4. 车队列的构建形式基于V2X构建车队列后，为把控行进方向，队列内一般需要至少需要一个leader。该leader用以给自车传输感知或指令信息，而leader的选择可以是自车[12]前一车、车队列上远处的任一车辆[13]或者甚至从两个连续的车辆[14]，如图4所示。然而需要注意的是，leader选择的位置越远信息传递延迟越大，为了保证车队列的稳定性，相应的控制算法中的延时参数设置需要调高。这也意味着车队列中的车辆越多，失稳风险越高。车队列的稳定性由队列形式可以分为线性稳定性、弧形稳定性等等，但是主要指线性稳定性。该稳定性具体指具体指车队列保持相对车速与相对距离恒定的能力，而速度稳定性被视为车队列控制中最重要的属性。当存在多个leader时，各信息源的选择权重对稳定性的选择也很重要[14]，因此对于多信息员的车队列控制需专门调整信息的权重分配系数。为提升车队列安全性以及交通流吞吐量，一个有效的策略是V2I通信获取交通上下游车辆的状态信息，然后将其纳入车队列控制器中进行优化控制。Jia[15]利用V2I获得交通流各部分车辆的状态信息，以均匀分布估计V2I数据噪声分布，然后利用两套控制算法对同样的感知信息进行优化控制，最终的结果通过单独的数据融合算法对两控制结果进行融合获得。文献[14]中将所有车辆收归为一个车队列，然后利用V2I的方式对该车队进行统一控制。这种方式灵活度欠佳，文献[16]中提出通过车队信息与交通流上下游车辆信息进行重新编队，如图5所示。例如在通过交通路口时，具有充足时间通过路口的车队列保持原始运动状态运行。而其余必须通过加速才能通过路口，或队列中有部分车辆无法通过路口的情况，则根据当时的交通状况进行队列重组。例如，该队列后部的车辆编入下一车队列，前部的车辆加速通过路口。随后的仿真结果表示该策略可以有效的提升交通吞吐量。

图. 5 根据交通流情况对车队列进行重新整编在提升交通吞吐量上，文献[17]提出了一种混合策略方式，相比于利用V2I通信给出车队列控制信息或者感知信息，它通过中央控制器收集交通流信息，然后基于最优化算法获得各队列的最优限制。例如，中央控制器跟剧交通流信息给出各车队列的车速限制。车队列中仅leader具有V2I通信功能，其余车辆仍通过V2V的方式跟随该leader移动。该策略对于存在普通车辆与自动驾驶车辆的混合交通系统表现出了较好的提升吞吐量性能。

2.3 集中式协同策略

集中式协同控制中重点关注的场景为交通路口场景，其中所考虑的最基础的两个元素为在路口的多车路径规划，以及进入路口时的顺序。在交通路口的多车路径规划算法层面，本质上与单车规划相同，例如基于优化MPC[18]或者动态规划（DP）[19]的算法。大多数早期的路径规划方法只考虑了安全和防碰撞，例如，Wuthishuwong等人[19]使用DP来规划两个相向移动的车辆的轨迹，然后将包含轨迹的平面空间进行网格状离散化，如图所示。为保证安全，在将车辆移动到下一个网格之前，会先通过对网格进行是否占用检验。将平面位置空间离散网格化以判断网格是否被占用是早期研究中最常用的方法。为了更精确的保证驾驶安全，李等人[20]利用了运动的时间属性，将时间t和平面位置x和y作为独立变量，随后的离散过程在这三维上进行。

图. 6. 交通路口的位置空间离散为格点空间在交通路口通行顺序层面，first come first serve (FCFS)策略是最常用的策略。如字面意思所示，FCFS策略意味着先到先走。为了提高行驶安全性，李等人[20]采用了一种基于优先权的政策，通过计算到达交叉口的车辆的交叉时间窗来判断后到达的车辆是否会与已经到达交叉口的车辆发生碰撞。被认为没有碰撞危险的车辆被列为最高优先级，随后正常运行。有碰撞风险的车辆被列为第二优先，而该类车辆需通过减速来降低碰撞风险。这类策略仅通过碰撞来考虑车辆优先级，然而在现实生活中车辆优先级应来自于多方面考虑。Zhang等人[21]提出了面向服务的策略，并为每辆车分配紧急值。载有重要人物的车辆(如救护车或警车)被赋予最高的重要性值，重要性与碰撞安全性综合最高的车辆被赋予最高优先级。

3. 人机共驾

人机共驾技术属于驾驶辅助系统领域的研究内容，其中人、车与控制单元的相互关系如图7所示。其最关键的研究点在于驾驶员与自动控制系统间的控制权切换、平衡问题，如图8所示。在该问题下比较常用的两个技术分别为预测与控制。根据预测算法与控制算法的结合形式，将人机共驾技术分为：预测与控制分层式策略与结合式策略两种。下面对这两种策略下的研究内容进行介绍：

图. 7. 人机共驾三要素及其相互关系

图. 8. 人机共驾的重点研究内容

3.1 预测与控制分层式策略

这种策略通常具备较强的表示车车、车人“interactive”特性的能力，因为独立的预测层较容易同时考虑驾驶员与外部车辆的状态，也较容易通过交叉创新的方式借鉴已成熟的预测算法，包括Manoeuvre-based方法与Learning-based 方法。

3.1.1 Manoeuvre-based approaches

为了解决车道保持(LKA)问题，Lefevre等人[22]结合了HMM和高斯混合(GM)回归来预测驾驶员的车道变换意图。预测层以从车载传感器获得的车辆速度、转向和制动比为输入，同时考虑车辆和车道之间的距离以及道路曲率。预测层首先输出驾驶员操作的估计结果（例如方向盘转角），随后该预测结果会与驾驶员的实际操作进行对比。若二者一致或近似，则下层的MPC控制器不会干涉。若二者不一致且当前存在碰撞风险，则MPC将暂时接管车辆控制权。Lefevre的方法只利用自车的状态数据来分析意图。仿真结果对于简单的少车场景不错，但是如果能考虑到交通规则和外部车辆的状态，该方法的适用面将可推广至多车存在的交互性工况。在后端碰撞风险评估问题中，Russo[11]利用贝叶斯网络（BN）同时处理来自本车和其他车辆的数据进行风险预测。BN的输入层集成了驾驶员状态，包括疲劳、注意力和年龄以及环境信息，如天气状况、温度和外部车辆状态。输出的信息包括驾驶员当前的反应时间以及最大制动减速度，这些变量随后结合车车相对距离与车速，综合输出当前的碰撞风险。然而对于impending collision问题，由于该类方法未考虑到他车驾驶员的行为，比如急刹车等，因此所预测的碰撞风险偏高，进而不适用于impending collision问题。按照这个逻辑，考虑不同的信息对应着适用于不同场景，图9给出了常规状态下自然驾驶场景中应该考虑的因素。

图. 9. 预测驾驶员行为时所需要考虑的多方面因素

3.1.2 Learning-based approaches

Learning-based的方法可以使用驾驶员状态、自我车辆状态和外部车辆状态来预测行为。从方法的使用形式上来说，其实与manoeuvre-based的方法很相似，并且预测层后接的控制算法一般也相同，主要区别在于预测算法的构建方式。Lenz等人[24]使用全连接DNN获得高斯混合模型(GMM)的参数。网络的输入量包括车辆类型、尺寸以及道路曲率等参数，输出结果包括多个值，分别代表不同外部车辆采取不同操作的概率。最后通过仿真表明，该方法比基于智能驾驶员模型、恒定高斯混合或恒定速度的方法的预测准确性更高。为了获得更长的预测时域，Phillips等人[25]使用三层LSTM来识别驾驶员意图。除了[24]中使用的状态信息外，Phillips还结合了当前的离散控制结果，如左转和右转作为LSTM网络的输入。仿真结果表明，该方法可以在距离车辆交叉口150m处提供预测结果。预测准确率平均为27%。监督学习类算法对数据集的特征质量较为敏感。为了降低数据对于学习类算法的影响，李等人[26]使用IMLCU(一种半监督方法)来预测驾驶员意图。使用的数据来源分为两类:有标签的数据和无标签的数据。为确保避免碰撞，IMLCU评估了预测机动的风险，然后根据以碰撞时间表示的碰撞概率提出了机动建议(TTC)。驾驶员操作的一致性也与紧急避障相关联。如果驾驶员的操作降低了碰撞的可能性，控制器将把控制权转移给驾驶员，否则转移给控制器。在紧急情况下，智能系统将暂时控制车辆。处理控制权限的详细方法将在下一节讨论。

3.2 预测与控制合并式策略

该策略下，最优控制和模糊控制是较为常见的方法。根据驾驶辅助系统的切入时机，可将研究内容分为两部分：始终接入车辆控制权与适时接入车辆控制权。下面按照以上两方面介绍研究内容：

3.2.1 始终接入车辆控制权

当前的策略一般是动态分配自动控制器和驱动器的控制权，并加权或平滑融合两者的输出结果。输出融合的权重主要基于驾驶员操作的安全性和驾驶员状态，例如注意力、睡意等（详细的驾驶员状态检测方法见图10）。Nguyen等人[27，28]使用了一个U形函数图来描述需要驾驶员需要辅助的程度。其中，函数自变量与因变量分别是驾驶员负荷程度和驾驶员表现。如果驾驶员的负荷过高，则控制权偏向决策控制器。这种方式最大的问题是控制权过渡的连续、平滑问题。使用Takagi-Sugeno模糊控制方法(T-S模糊控制)可以较好的实现控制权平稳切换。与MPC等方法类似，模糊控制的输出一般是方向盘角度和车辆加速度。为了确保该方法的稳定性与实时性，Nguyen等人[27,28]将linear matrix quality optimisation (LMI)和李亚普诺夫稳定性论证相结合，以确保驾驶员-车辆系统的闭环稳定性。

图. 10. 驾驶员疲劳状态检测方法为了处理控制权的平衡问题，Sentouh等人[29]将系统分为tactical层和operational层。前者用于分配控制权，而后者包含两个基于优化的控制器:人机共驾控制和自动控制。分配控制权时同时考虑驾驶员的状态和操作安全性，这些状态包括驾驶员睡意和注意力水平。操作安全性是指变道时的碰撞概率。该算法通过车辆的位置和航向计算出一个安全参数，然后将其与现实生活中得到的经验参数作对比，从而进行安全性评估。在常规工况下，决策控制系统进行连续的控制补偿，但在紧急避障等特殊情况下，控制器会降低其输出力矩，以保证驾驶员获取更高的控制权。此外，Sentouh也利用了LMI与李雅普诺夫方法去获取高的算法效率，证明算法闭环稳定性。Schwarting等人[30]假设复杂城市道路场景中所有外部动态物体的运动不确定性为高斯分布。随后构建Model predictive contextual control (MPCC)用于生成轨迹，然后跟踪轨迹，横纵向控制同时进行，控制量分别为方向盘转角和车辆加速度被同时控制。乘法函数包括驾驶员输出结果和控制器结果之间的纵向和横向偏差，即控制器会倾向于将驾驶员的控制结果向自动控制结果转移。

3.2.2 适时的驾驶辅助

与上一节的策略不同，适时辅助的策略通常规定一个安全边界。当驾驶员的操作在安全边界内时，控制器不会干扰车辆运行。控制器仅在驾驶员的操作即将超出安全边界时介入车辆控制，被控对象与驾驶员的控制部件相同，如方向盘或脚踏板。Glaser等人[31]将控制算法分为两层。第一层提供外埠车辆所有可能操作，例如左转、右转、加速和减速。自车前方的位置空间被分成多个网格。随后结合TTC和车间时间(TIV),赋予每一个网格碰撞概率。最后以舒适度和能耗作为指标，规划出两类轨迹，第二层则会整合评估结果最好的两条轨迹。同时，控制器通过道路几何形状、方向盘转角和踏板力来预测驾驶员的意图。意图包括方向、加速和减速。当遇到安全问题时，控制器通过方向盘和踏板中的触觉反馈警告驾驶员。在被认为高度危险的情况下，控制器控制车辆，然后根据第二级算法规划的轨迹行驶。该方法采用的策略结构清晰，但模型复杂，实时操作困难。与[31]中提到的策略不同，Erlien等人[32]通过定义两种类型的安全边界来选择干预时机。Erlien选择峰值轮胎力时的稳态角速度和后侧滑角作为车辆稳定运行的极限。随后利用MPC进行运动控制，为了确保算法实时性，Erlien将道路根据障碍物位置分成多个tube（小矩形）。此时，不含障碍物的tube内的运动控制问题可以变成凸优化问题。在常规工况下，决策控制器会给出每个tube下的最优路径，但是驾驶员有权选择任意路径。在紧急工况下，例如车辆存在碰撞风险，此时决策控制器将接管横向控制。然而，驾驶员仍然保持纵向控制。该方法在实时性与控制舒适性上较好的实现了人机共驾。