一文带你全面了解，自动驾驶数据闭环之——大数据管理！

作者 | 高工（汽车主机厂ADAS研发人员） 

来源 | 无人驾驶俱乐部

数据闭环涉及较多领域，后续逐一研究梳理，本期主题则是五大数据闭环之一的——大数据管理部分。
前面说道不同等级阶段的车辆，需要采集的数据量也呈现几何级增长。以目前常见的L3阶段为例，随着4K超高清摄像头、128线激光雷达等传感器引入，每天8小时数据采集系统记录的数据量高达30TB。这么说吧，英伟达公司的自动驾驶技术测试也显示车辆学习数据收集系统在几小时内就能够充满TB级的固态存储硬盘（SSD）。

众所周知，汽车自动化分五级。自动化程度越高，所需的数据存储量就越大。举个例子，比如二级自动驾驶汽车需要全程人为操作，但有附加的自动化系统，如变道辅助、盲点检测或自动停车功能。鲍曼认为，二级自动驾驶汽车需要4到10PB的数据。

然而，三级自动驾驶汽车需要50到100PB的数据存储，五级自动驾驶汽车则需要3EB以上的存储空间。鲍曼说：“三级自动驾驶系统意味着汽车可以实现自动驾驶。而五级自动驾驶汽车可以实现完全自动驾驶”“。
如何处理所有数据？
尽管自动驾驶汽车所需的数据存储量是巨大的，但挑战并非源于存储阶段，而是传输阶段。鲍曼说，例如，让车辆上路去记录来自摄像机、激光扫描仪和雷达的数据时，每辆车每天能产生80TB的数据。
他说：“然后，你必须通过数据线连接车辆，将数据从汽车系统传输到数据中心，接着将数据从研发中心复制到数据中心。通常，我们的客户在每个洲都有一个集中的数据库，数据传输就可以通过加速文件传输方法或物理方式实现”。
介绍一些数据管理的具体研究：
1. 资源管理与任务卸载
由于边缘节点能够为一定范围内的多个用户（车辆）同时提供服务，因此资源调配以及用户任务竞争问题是影响性能的主要因素。某文献将车辆任务卸载过程中的竞争冲突问题转化为多用户博弈问题，证明该问题的纳什均衡的存在性，并实现了一个分布式的计算卸载算法。
更进一步的上述文献，针对任务卸载过程中的通信速率、可靠性、延迟三方面进行优化分析，提出了一个支持服务质量感知的无线网络资源管理框架，将资源分配问题拆分为车辆集群的分块、集群之间的资源块池分配、集群内的资源分配3个子问题，并实现了一个基于图理论的优化方法：

• 首先将车辆分区转化为集群划分问题，使得车辆之间的协同控制能够避免隐藏终端问题，同时避免由半双工导致的通信限制；

• 对群组的资源块池分配问题转化为基于加权资源冲突图的最大最小公平性问题，解决（由高效的集群间通信资源复用导致的）频谱利用率增强与限制集群间竞争冲突的权衡。

针对车辆高移动性导致的边缘节点频繁切换的问题，上述文献认为车辆与节点之间的连接在维持较短时间后便丢失，将造成处理时间及能耗开销增长，提出了任务接替算法，按照计算出的接替时间，将处理任务从原有节点卸载至下一个可行的目标节点，继续任务的运行。
同时，该研究者没有局限于单一完整的任务卸载，实现了一系列任务的部分卸载策略。
对于整个卸载过程而言，车端的性能与边缘服务节点端的性能均需要认真对待。DDORV算法能够根据当前系统状况（例如信道质量、流量负载）对车端与节点端的两个相互耦合且包含大量状态信息、控制变量的随机优化问题同时进行考虑。
具体而言，该算法基于Lyapunov算法将双边随机优化问题解耦为两个独立的按帧优化问题：对于车辆，卸载策略通过比较本地处理成本与任务卸载成本进行选择，CPU调整频率通过提出的目标函数计算得出；对于边缘节点端，首先提出一个轻量的资源供给算法，之后基于对无线资源与能耗的共同优化的迭代式算法，提出持续松弛方法以及Lagrange双解耦算法。
同时，该研究者选用电视机空白频段（TV white space）进行车辆与边缘节点之间的无线数据传输，弥补了传统蜂窝、Wi-Fi等技术的弊端，提高了通信效率。
同时，对于一定区域内的多个用户，通常具有多个节点提供选择。JSCO算法将多节点、多用户背景下的负载均衡与任务卸载决策问题转化为混合整数非线性规划问题，并能够针对节点选择、计算资源优化、卸载方案决策3个问题以低复杂度进行计算，在保证延迟限制的条件下最大化系统利用率。
5G基础设施对数据的重要性
有专业人士表示，5G对于自动驾驶汽车的研发和生产至关重要，尤其是在未来5到10年，届时将有更多的技术集成到汽车中。他说：“如今的汽车就是路上的移动数据中心。因此，必须对车辆中的数据进行预处理，例如，识别值得通过5G传输到数据中心的有价值的数据” 。
他还说，自动驾驶汽车需要存储边缘数据，也就是在车内存储数据。“你需要计算边缘存储，特别是在没有5G覆盖的地方。这是另一个问题，因为你必须在车辆中缓存数据，以便在有5G信号后发送数据”。
与5G相关的另一个问题是上传速度。有专业人士说：“5G是为高速下载流数据设计的，所以上传速度没有那么快。因此，你不可能真正通过5G上传大量数据，它是为从数据中心向最终用户传输数据而不是从车辆到数据中心而设计的。但5G的优势在于其低延迟”。
面临的挑战
网信办在去年5月12日发布的《汽车数据安全管理若干规定（征求意见稿）》（简称《意见稿》）在引起了一阵小波动后，似乎很快就沉入“潭底”，被跨界造车等汽车界的热闹事给掩盖了。但汽车企业心里很清楚，这不仅是由特斯拉争议带来的数据安全风控方案，更深层次上，采集用户数据的“紧箍咒”预警已经拉响。“如果这个法规最终落地时，严格规定数据只能留在车内，而车企不启动新的合法的数据获取通道，那国内的自动驾驶技术发展，可能真的要延缓几年。”某位不愿透露姓名的业内权威人士称。
但并非所有车企都选择静观其变，用户在真实道路上的行驶数据是车企自动驾驶技术迭代升级和完善的重要支持。为此，已有企业开始打造数据获取的新商业模式。今年4月，上汽智己基于其CSOP（Cus-tomer　Share　Option　Plan）用户数据权益平台，发布了用户数字资产“原石”的开采方式。其希望通过该平台，实现与用户之间的数据交易。具体的操作办法为：智己汽车拿出4.9%的创始轮股权用于CSOP计划，并推出3亿枚“原石”，其中70%的原石需要车主通过日常驾驶车辆产生数据来兑换获得。用户获得原石后，则可以进行软硬件的产品升级以及相对应的数据权益。
智己是目前国内唯一一家提出与用户进行数据交易的车企，虽然其平台推出的时间在新规意见稿发布之前，但这被认为有望成为法规趋严下的一种解决方案。“我觉得挺有意思，是一种模式创新。”百度阿波罗信息安全负责人刘健皓对经济观察报记者表示。上述权威人士也认为该模式具有突破性。在此之前，车企对车辆大部分数据都是默认采集的，从未实现平等交易。但也有专家认为，由于存在诸多不确定性，这种模式可能只是车企互联网思维下的一种尝试，执行顺不顺利还不好说。

而对智己汽车数据交易模式探讨的背后，映射出了车企和业内对于智能汽车的用户数据收集将会变得越来越难的危机感。根据《意见稿》，车企对用户个人信息和行驶重要数据“默认不采集”，或者至少需要每次都获得用户的同意。这意味着数据采集的通道存在将被阻断的可能，这对于当下如火如荼的自动驾驶应用将不可避免产生影响。
在这种情况下，上汽智己的数据交易模式是否能成为行业趋势？在用户数据安全和智能驾驶技术发展需求之间，是否还有其他可行的数据共享模式？留给整个行业寻找解决方案的时间已经不多了。
车企的大数据“切断”风险
在接受经济观察报记者采访时，多位专家均对智己汽车与用户进行数据交易的模式给予了一定肯定。汽车行业资深分析师梅松林认为，该模式可以加强车企数据采集的透明性，并让车企与用户互惠互利。赛迪顾问汽车产业研究中心总经理鹿文亮则表示，这表明车企开始采用类似互联网公司“众包”的模式，具有一定先进性。
但对于该模式是否会成为行业趋势，业内有不同的看法。“我觉得未来企业可能还会（像智己一样）拿出一些好的玩法，来刺激用户拿出数据。”刘健皓认为，采取这种模式不仅可以帮助车企拿到数据，还可以通过数据的累积大大促进智能汽车的发展，“数据是移动互联网时代的基础要素，至关重要，智能汽车同样如此。”刘健皓表示。刘健皓用手机行业的发展作了一个类比，“（以前）诺基亚本身没什么数据，随着智能手机应用内容增多，直接迎来了一个移动互联网时代。”刘健皓说。
但也有观点认为，数据交易的模式仍存在诸多不确定性。一方面，由于是新的模式，数据交易和奖励的额度比较难设置，“设置低了没人参与，设置高了后面没法兑现，会对品牌有损害。”鹿文亮说。同时，针对数据可能推进智能汽车整体发展的看法，鹿文亮认为，利用“众包”模式实现发展，首先应该是产品已经比较好，才能利用用户的数据形成良性循环，半成品的情况下则会造成恶性循环，而当前智能汽车还不能说已经发展完善，因此以智己汽车为代表的这种数据获取新模式是否会成为趋势还不好说，“很可能只是车企在互联网思维下的一次尝试。互联网的运营模式很多，都尝试一下，不行可以换。”
汽车数据安全管理新规征求意见稿的发布，让车企在数据收集方面变得越来越焦虑。“现在车企对最新的数据采集要求都比较头疼，对这个征求意见稿，企业的反馈大部分集中在数据采集方式的改变上。”鹿文亮对经济观察报记者指出，如果该新规实施，必将会带来不小的影响，“主要是以前数据采集得太多了，并且很多公司的商业模式就是未经授权进行数据采集。”
可以看到，汽车数据安全管理新规主要限制了两类数据的收集——重要数据和个人信息。其中重要数据包含“道路上车辆类型、车辆流量等数据”，而这被认为属于自动驾驶对道路场景收集所需要的重要数据。另外，个人信息中的个人车内操作，也被认为是车企收集用户习惯的重要渠道。但新规却认定对这些信息“默认不收集”，即使采集，授权也“仅一次有效”，这可能将阻断当前车企的数据收集通道。
介绍一种智能驾驶的黑匣子华为数据管理方法
华为正式发布《华为核心网自动驾驶网络白皮书》，在业界率先提出了面向5G的核心网自动驾驶网络的理念、目标和构架，为5G核心网向自动驾驶网络演进提供了一条可衡量、可实践的指导性路径。

近年来，智能驾驶汽车已成为汽车领域发展的新趋势，越来越多的汽车采用了辅助驾驶系统(ADAS)和自动驾驶系统，这类系统利用车载的移动数据中心(MDC)和车载传感器，在行驶过程中智能化探测障碍物、感知周围环境并自动决策车辆的路径并控制车辆的行驶状态。智能驾驶技术给汽车领域带来了革命性地机遇和挑战，越来越多的厂商致力于通过智能驾驶提升驾驶员在汽车行驶中的体验。
除此之外，智能驾驶汽车的安全性也引起了业界的广泛关注，传统人工驾驶汽车通常利用黑匣子设备记录车辆在发生事故前后的引擎速度、车速、刹车、油门和安全带的状态，而黑匣子则是一类安装在汽车上且抗损毁性能高的设备。当汽车发生剧烈碰撞时，黑匣子可以通过车身内与黑匣子设备连接的加速传感器提供的数据判断车辆的加速度在短时间内是否超过预设阈值，进而收集并存储车身数据。
但是，与传统的人工驾驶车辆相比，智能驾驶汽车在应用场景、驾驶员驾驶习惯和方式、智能驾驶汽车内各个系统的工作方式以及与周围设施和汽车的关系等方面都发生了巨大的变化，智能驾驶汽车在安全方面也对黑匣子数据的管理方法提出了更高的要求，因此，如何提供一种适用于智能驾驶汽车中更有效的黑匣子管理方法成为需要解决的技术问题。
为了解决这样的问题，华为在19年8月7日申请了一项名为“智能驾驶汽车中黑匣子数据的管理方法、装置和设备”的发明专利（申请号：201910726567.X），申请人为华为技术有限公司。
根据该专利目前公开的资料，让我们一起来看看这项黑匣子数据管理方法吧。

如上图，为该专利发明的智能驾驶车的黑匣子数据的管理系统的逻辑架构示意图，该系统包括云数据中心101、网络102和智能驾驶车103，云数据中心101和智能驾驶车103通过网络102进行通信。
其中，云服务数据中心能够提供用于存储黑匣子数据的云服务的数据中心，包括私有云、公有云和混合云类型的数据中心；网络是可以实现将智能驾驶车中黑匣子数据传输至云服务数据中心的媒介。
纵观整个智能驾驶车辆，其包括有通信盒子1031、中央网关1032、车身控制器(BCM)1033、人机交互控制器1034、智能驾驶控制器1035、整车控制器1036和黑匣子设备1037。通信盒子用于实现智能驾驶车和云服务数据中心的通信；人机交互控制器包括车载娱乐(IVI)和硬件监视器接口(HMI)等车载娱乐控制系统，负责人和车辆的交互，通常用于管理仪表、中控显示以及方向盘压力传感器等设备。
整车控制器(VCU)通常与底盘电子控制单元、安全气囊和动力电子控制单元相连，而安全气囊通常与惯性测量单元相连，通过惯性测量单元的检测，可以判断智能驾驶汽车是否处于紧急制动状态，若智能驾驶汽车处于该状态，则安全气囊可以弹出以保护驾驶员安全。
最后就是整车中最为神秘的黑匣子，黑匣子设备用于在紧急情况下记录智能驾驶车的车身数据，这些数据包括：引擎速度、车辆速度、刹车力度、转向角、油门板状态、安全带状态等，以及这些数据生成时的时间戳。在汽车失事时，这些数据往往是调查人员分析事故最为主要的数据。
接下来，我们结合下图详细介绍该专利中所提供的智能驾驶汽车中黑匣子数据的管理方法，如图所示。

首先，当检测控制器检测到黑匣子触发事件时，检测控制器向黑匣子设备发送触发事件通知。其次，黑匣子设备根据触发事件类型标识黑匣子数据的数据类型，检测控制器能够检测的黑匣子触发事件包括驾驶模式转换事件和驾驶风险边界事件两类，其中，驾驶模式转换事件又可以细分为以下两种情况：
1）驾驶员将智能驾驶汽车的驾驶模式切换至智能驾驶模式：当智能驾驶车为人工驾驶且智能驾驶系统检测符合智能驾驶开启条件，通过人机交互控制器通知驾驶员，由驾驶员通过按钮触发智能驾驶车切换为智能驾驶模式，此时，由人机交互控制器通知黑匣子设备存在黑匣子触发事件。
2）驾驶员主动将智能驾驶汽车的驾驶模式切换至非智能驾驶模式：当智能驾驶车为智能驾驶模式时，驾驶员可以通过踩刹车、转动方向盘、人机交互控制器模式切换的方式主动将智能驾驶车切换为非驾驶模式，此时，可以通过人机交互控制器检测到黑匣子数据触发事件，并通知黑匣子设备存在黑匣子触发事件。
接着，黑匣子设备根据触发事件类型和数据类型确定数据所属存储级别，并按照数据所属存储级别和预置规则存储数据。当数据所属存储级别满足预设条件时，黑匣子设备将向云服务数据中心发送黑匣子数据。这样，通过对于数据的存储方式进行分级，最高级会将书就保存到云端，从而保证了数据的安全性以及有效性。

最后是这种智能驾驶车的黑匣子设备的结构示意图，可以看到，黑匣子设备包括处理器101、存储介质102、通信接口103和内存单元104。其中，处理器、存储介质、通信接口、内存单元通过总线进行通信。
以上就是华为发明的黑匣子数据管理方法，通过对于黑匣子中数据的管理方式进行升级、以及将黑匣子的数据同时存储在本地和云存储器中，并且对于黑匣子的数据进行分级存储，从而有效的提升了智能驾驶汽车中黑匣子数据的有效性以及安全性，同时也提升了整个智能驾驶汽车的整体安全性。
小结：

1. 自动化程度越高，所需的数据存储量就越大；

2. 挑战并非源于存储阶段，而是传输阶段；

3. 必须对车辆中的数据进行预处理，优先通过5G传输有价值的数据；

4. 《汽车数据安全管理若干规定》限制了国内自动驾驶的发展，真实道路上的行驶数据是车企自动驾驶技术迭代升级和完善的重要支持；

5. 自动驾驶汽车在安全方面也对黑匣子数据的管理方法提出了更高的要求。