丰田L4级自动驾驶计算平台剖析

2021年4月12日，丰田汽车在日本市场推出丰田新款Mirai和雷克萨斯新款LS，新车配备Advanced Drive系统，该系统具备L2级自动驾驶技术。前者起售价格为860万日元（约合人民币51.5万元），后者起售价格为1794万日元（约合人民币107.5万元），如果是奔驰S级，这个价格不算高，但对雷克萨斯来说，这个价格是很高的。

说是L2级自动驾驶，实际比特斯拉的FSD要高出一大截，称L4丝毫不过分。之前本田曾经推出全球第一台L3车，实际是只生产100辆，只租不卖。只有丰田的才是真正量产车，不过丰田的价格也是够高的了，销量肯定不高，我想丰田应该非常清楚这一点。估计一年销量只有几千辆，甚至是几百辆，这样一来反而是好事，丰田可以使用非量产的半导体元件。

很多人会质疑夸大了丰田的L2，但仔细研究后就会发现，丰田的L2就是L4级自动驾驶，或者说丰田的硬件系统已经具备了L4级自动驾驶的能力和需求。众所周知L4与L3最大差别是L4能做到Fail-Operation，即具备两套完全不同的自动驾驶运算系统，一套作为主系统失效时的备份，在主系统失效时，仍能保持自动驾驶。L3则是Fail-Safety，系统失效时，人工接手，即失效时还要保持安全。像特斯拉或英伟达之类的，设置两个完全相同的主芯片只是提高算力，而不能做后备，既然是主系统已经失效，那么只有与主系统完全不同的系统才是真正的后备，才能真正做到Fail-Operation。



丰田的自动驾驶系统如上图，不仅计算系统有后备，电源系统也考虑到了，增加了第二块电池系统。主系统即ADS ECU，后备为ADX。两套系统同时工作，ADS负责绝大部分事物，保证基本安全，ADX负责锦上添花，让车不仅安全也具备智能。

这一套大约增加了66万日元硬件成本，也就是大约4万人民币的成本，未来或许丰田车可以选装，选装价格估计得20万人民币。加上雷克萨斯LS500H本来就标配的双目系统，构成完整的L4级自动驾驶。这一套系统中前向主激光雷达成本估计最高，大约1-1.5万人民币，两个侧向激光雷达合计大约5-8千人民币，3个ECU估计要1.2-1.4万人民币。软件成本无法估算，要看多少销量了。

传感器方面，主前向激光雷达由电装开发，电装与法雷奥Scala的设计如出一辙，只是巧妙地将单向变双向。同时电装可能是二代Scala的水准，也是16线设计，但也有可能更高，32线的设计。侧向则是大陆汽车的HFL-110 Flash激光雷达。核心的双目系统也是电装开发的。毫米波雷达还是要的，总共有5个毫米波雷达，都由电装开发并生产，丰田供应链尽量垂直化，能自己做的部件都要自己做，不仅能保证部件性价比极高，也能快速迭代产品，还能保证供应链稳定度。欧美和中国厂家则是能对外采购的尽量对外采购。



ADS使用高等级车规元件，使用传统非深度学习算法也就是可确定性可解释性的算法。ADX以深度学习算法为主，但深度学习不具备确定性和可解释性，因此永远无法通过功能安全认证，但要车辆智能化而不是仅仅保持安全，深度学习必不可少。ADX系统都能胜任90%的自动驾驶任务，但不能保证100%安全，而ADS是保证安全，两套系统联用，既能有智能，也能在主系统失效后依旧正常运行自动驾驶，当然这个自动驾驶的时间段不能太长。这就是丰田与大多数厂家的不同，丰田更注重安全，其他厂家更注重智能。

ADS里丰田使用瑞萨的主SoC，ADX里是英伟达的Xavier做主芯片。

为什么用瑞萨的主SoC，首先是瑞萨是传统车规芯片大厂，对车规和安全更重视，其次是瑞萨与丰田关系紧密，瑞萨的自动驾驶用芯片就是和丰田联合开发的。



上表为瑞萨的股东列表，丰田控股的电装（曾经是丰田的电子与热交换事业部）是第二大股东，最初电装持股只有0.5%，后来陆续花费数十亿美元增持到8.95%。丰田汽车持股2.92%。瑞萨的第一大股东是日本株式会社产业革新机构 (Innovation Network Corporation of Japan, INCJ)，这是日本政府与19家民营企业合资成立的投资公司，日本财务省占95.3%的股份，瑞萨可以算日本的半国营企业。那19家民营企业里也包括了丰田。早期INCJ持有瑞萨股份超过50%，后来将大约8%的股份都转让给了电装。在2017年，丰田、瑞萨和电装建立了自动驾驶合作联盟。

丰田自动驾驶ADS可能使用瑞萨最新的R-CAR V3U。有人会说，按照日程表，R-CAR V3U要到2023年才量产，这个量产指的是每月都超过1万片的规模。鉴于丰田自动驾驶系统的出货量和丰田与瑞萨之间的紧密合作关系，丰田自动驾驶ADS可能使用瑞萨的R-CAR V3U，在没有大规模量产前，每个月几百片的量还是能满足的。顺便说一下，中国一汽红旗也决定使用R-CAR V3U做自动驾驶系统主芯片，但是要到2023年下半年才量产。大众集团的自动驾驶系统也很有可能使用R-CAR V3U，因为双方在座舱领域已经紧密合作，德国大众和上汽大众都与瑞萨建立了联合实验室。



V3U内部框架如上图，采用8核A76设计，但也不是像特斯拉那样简单堆12个A72，它使用了ARM的Corelink CCI-500，即Cache一致性互联。它提供处理器集群之间的完整Cache一致性，比如 Cortex-A76 和 Cortex-A55，而且可以实现 big.LITTLE 处理。它还可为其他的设备（如 Mali GPU、网络接口和加速器）提供 I/O 一致性。实时锁步CPU是ARM的R52，英伟达最新的1000TOPS芯片Atlan也是用了R52。



V3U视觉管线如上图，可以看到V3U有很多硬核计算机视觉模块，包括立体双目视差，稠密光流、CNN、DOF、STV、ACF等。功能方面包括图像格式化、目标追踪、车道检测、自由空间深度、场景标注、语义分割、检测分类等都具备，类似于Mobileye的全封闭算法了。



图像处理主要还是IMP-X5+，灵活性应该比Mobileye还是要高点。因为针对性比较强，也为了节约成本，降低功耗，瑞萨没有使用太昂贵的GPU，只是简单增加了一个低功耗GPU，即Imagination Technologies的PowerVR GE7400，1个着色器集群+32个ALU核心，算力只有38.4GFLOPS@600MHz。



R52是ARM在2016年发布的专为自动驾驶安全市场供应的内核，Cortex-R52最高支持4核心锁步技术，相比Cortex-R5，有35%的性能提升，上下文切换（乱序）提高14倍，入口抢占提高2倍，支持硬件虚拟化技术。按照ARM的说法，简单的中控系统可直接用Cortex-R52，但是像工业机器人和ADAS（先进辅助驾驶）系统则建议配合Cortex-A、Mali GPU等提升整体运算。另外，ARM Cortex-R52通过多项安全标准认证，包括有IEC 61508（工业）、ISO 26262（车用）、IEC 60601（医疗）、EN 50129（车用）以及RTCA DO-254（工业）等。2021年3月还推出了R52+架构。可以最高支持8个核心锁步。

R52包括三大功能

•  软件隔离：通过硬件实现的软件隔离，意味着软件功能互不干扰。对于安全相关的任务，这也意味着需要认证的代码更少，从而节省了时间、成本和工作量。

•  支持多个操作系统：借助虚拟化功能，开发人员能够在单个CPU内，使用多个操作系统来整合应用。这样可以简化功能的添加，而无需增加电子控制单元的数量。

•  实时性能：Cortex-R52+的高性能多核集群可为确定性系统提供实时响应能力，且在所有Cortex-R产品中产生的延迟最低。



考虑到成本因素，瑞萨没有使用尖端的7纳米，而是12纳米工艺，并且是从原瑞萨R-CAR H3的16纳米FinFET工艺升级到12纳米FFC工艺，一次性支出很少。但是论到AI性能，丝毫不逊于那些5纳米芯片，瑞萨声称V3U达到了惊人的13.8TOPS/W的能效比，是顶配EyeQ6的6倍之多。

和奔驰一样，丰田从一开始就是以立体双目为自动驾驶的核心。支持立体双目的还有电装、博世、捷豹路虎、斯巴鲁、本田、德国大陆汽车、华为、大疆、铃木和亚马逊与福特投资的电动车品牌Rivian。瑞萨V3H和V3U里都有针对双目的硬核处理部分，英伟达的Xavier也有。



与单目三目的2D系统相比，立体双目最大的优势是无需识别目标也可以探测目标的3D信息，也更擅长目标的追踪与位置预测。单目和三目摄像头的致命缺陷就是目标识别（分类）和探测（Detection）是一体的，无法分割的。必须先识别才能探测得知目标的信息，而深度学习的穷举法特性导致其肯定会出现漏检，也就是说3D模型有缺失，因为深度学习的认知范围来自其数据集，而数据集是有限的，不可能穷举所有类型，因此深度学习容易出现漏检而忽略前方障碍物，也就是说如果无法识别目标，系统会认为前方障碍物不存在，不做任何减速，特斯拉多次事故大多都是这个原因。

即使特斯拉的HW4.0（FSD Beta）算力再高也是L2，也是无法避免漏检的，并且FSD Beta版在识别与对于物体的警示功能方面仍有限，对于静态的物体、紧急驶出的车辆、建筑区域、较复杂的十字路口等无法进行辨别。单目三目系统的另一个缺点是静态目标反应要慢。

大部分基于立体双目的算法都是传统几何算法，不是深度学习算法，具备确定性和可解释性。目前提到的自动驾驶算力都是针对深度学习的卷积的，算力再高也与安全无关。针对立体双目，最大运算量在于立体匹配，一般都用硬核完成。

立体双目的缺点是标定困难，需要长时间摸索。算法人才奇缺，生态系统单薄，不像单目三目系统，免费资源无处不在，立体双目需要从内部培养人才，这个过程长达10年以上。这不是特斯拉等厂家能胜任的。宝马都有些吃力，宝马也跟风奔驰用过双目，但效果很差，比单目三目还差，宝马最近基本放弃双目路线。



与大多数自动驾驶系统不同，丰田将定位系统特别点出，称为SIS ECU。

自动驾驶的定位有两种，一种称之为绝对定位，不依赖任何参照物和任何先验信息，直接给出无人车相对地球坐标或者说WGS84坐标系，也就是坐标（B,L,H），其中B为纬度，L为经度，H为大地高即是到WGS-84椭球面的高度。

另一种是相对定位，即有参照物或先验信息的定位。有像Mobileye这样的视觉众包定位REM，视觉对光线变化很敏感，光线每时每刻都在变化，数据的一致性几乎不可能，逆光与背光完全不一样，某国产轿车逆光下ADAS系统几乎完全失效，因此准确度很低。也有基于激光雷达先验信息的定位，准确度极高，但成本也极高，且不可能大范围（几百公里）使用。此外，相对定位无法与标准的高精度配合使用，两者的坐标系、数据格式、接口、时间轴完全不同，标准的传统的高精度地图必须有绝对定位。



绝对定位是不可缺少的，特别是全局规划。而目前绝对定位只能用卫星定位，而卫星定位除了QZSS，其余都无法做到自动驾驶的车道级定位。这是L3/L4的瓶颈之一。

之所以说特斯拉是标准的L2级智能驾驶，也是因为特斯拉根本做不到车道级定位，目前全球唯一能做到车道级定位的是凯迪拉克的超级巡航，超级巡航使用了天宝的RTX服务，每年缴纳服务费才取得了车道级定位。



天宝的RTX全球跟踪基站网络在全球部署了120个左右的跟踪基站，对GNSS观测值进行实时跟踪和存贮，将GNSS观测值时发送给分别位于欧洲和美国的控制中心，控制中心对全星座精密卫星轨道、钟差和大气建模，得到全球精密定位改正数。全球精密位置改正数通过L波段卫星（天宝自己的卫星）或者网络的方式广播给服务授权的终端用户。

特斯拉里的定位只有一个GPS。GPS模块是NEO-M8L-01A-81，水平精度圆概率误差(CEP)为2.5米，有SBAS辅助下是1.5米，接收GPS/QZSS/GLONASS/北斗，CEP和RMS是GPS的定位准确度(俗称精度)单位，是误差概率单位。就拿2.5M CEP说吧，意思是以2.5M为半径画圆，有50%的点能打在圆内，也就是说，GPS定位在2.5M精度的概率是50%，相应的RMS（66.7%）2DRMS（95%）。当然很多商家为了参数好看，只给出CEP。实际95%概率情况下是6米精度，有SBAS辅助95%概率是3.6米精度。已经远超一个车道了。冷启动26秒，热启动1秒，辅助启动3秒。内置简易6轴IMU，刷新频率仅20Hz，成本不会超过80美分。

日本的GPS是特殊的GPS，附加了QZSS。



早在1972 年，当时的日本电波研究所(现为信息与通信研究所) 就提出了准天顶卫星系统的概念，论证了这种系统很适合日本这样地处中纬度、国土狭长的国家；2002年11月1日正式成立了新卫星商业公司Advanced Space Business Corporation (ASBC)，共有43家企业出资，三菱电机公司、 日立制作所和丰田汽车公司等7家企业持股占77%。

但是事情并不顺利，最后还是由日本政府内务省出面接管QZSS项目。日本政府接管后，在2010年9月11日，发射第一颗卫星Michibiki，2011年6月1日，正式提供导航服务。2017年6月1日，发射第二颗卫星，2017年8月10日，发射第三颗卫星，2017年10月10日，发射第四颗卫星。日本计划在2023年，将QZSS的导航卫星数量增加为7颗，届时将不再依赖美国GPS，即可提供位置信息。

2023年-2026年，不加任何地基增强的空间信号测距误差为2.6米，加上地基增强可做到0.8米左右。2027年-2036年，不加地基增强误差为1米，2036年以后，误差为0.3米。QZSS接收机上不需要增加任何硬件成本，只增加软件成本，苹果手机就支持QZSS。QZSS廉价、高效、广播方式没有带宽的瓶颈，也没有延迟，是最适合自动驾驶的一种技术。缺点是日本国土狭长，7颗星覆盖率就可超过100%，对中美这样的大方块国家，恐怕得几十颗低轨道卫星。这种基础工作，恐怕最少要花数十年以上的时间才能决策批准并实施。

除了绝对定位，丰田也考虑了相对定位，为此增加了一颗远距离摄像头，即立体双目之上的那个摄像头，主要用来检测车道线，配合高精度地图的先验信息，实现相对车道级定位。

IMU方面，丰田可能使用了TDK专为自动驾驶开发的IMU，即IAM-20685或者是IAM-20680HP，这是单独外置的IMU，精度颇高，IAM-20685达到ASIL-B级标准，陀螺仪量程±2949bps，精确度±300bps。加速度计量程从±16g, ±32g到±65g，精确度±8g, ±20g和 ±36g，价格自然不低，IAM-20680HP大约10美元（5千片起），IAM-20658大约15美元，跟特斯拉的整个GPS模块价格都差不多，而这仅仅是一个IMU。

中美日三国自动驾驶竞赛，日本一向追求产品高完成度，给人感觉落后不少，不过谁能笑到最后？让时间来回答吧。