逯建枫：端到端大模型催化智驾革命，智驾芯片如何演进？

2024年7月11-13日，2024中国汽车论坛在上海嘉定举办。本届论坛以“引领新变革，共赢新未来”为主题，由“闭门峰会、大会论坛、10多场主题论坛、9场重磅发布、主题参观活动”等多场会议和若干配套活动构成，各场会议围绕汽车行业热点重点话题，探索方向，引领未来。其中，在7月12日下午举办的“主题论坛五：高级别自动驾驶加速，驱动未来出行革新”上，爱芯元智车载事业部技术副总裁逯建枫发表精彩演讲。以下内容为现场演讲实录：

大家下午好！

因为我们是做芯片的，我首先非常开心能代表爱芯元智车载事业部给大家分享一下我们对高阶智驾的一些思考。爱芯元智的车载业务有自己的品牌叫爱芯元速，希望以此来赋能我们的合作伙伴，来加速智驾行业的发展和迭代。

特斯拉FSD一直以来是比较有话题性的信息，从我个人角度来讲，基本上经常会时不时在网上看一看它的小视频，整个差不多从2020年以来经常看看它的视频，整个迭代大概迭代到什么样的程度，发展得怎么样。但是在FSDv12.3版本之前，看起来性能可以，但是整个是差强人意的。但是去年11月份开始，FSDv12.3版本发布以来，体现出来的效果还是让人非常惊艳，让我们感觉到智驾真正往L3发展的过程中，它的MPI有可能降低到一定的程度，让我们的L3落地变得可实现性更强一些。

视频展现出来的，它有强大的泛化能力。比如说以前在城区范围里面，一般的自动驾驶系统经常会接管率比较高，尤其是面对复杂场景，经常有时候开不动，停在一个具体的位置，不能动弹。但是在这个版本里面，它表现得非常好。同时它还有一个比较好的拟人的驾驶风格，拟人的驾驶风格有一个好处，人在使用系统时比较有安全感，因为它开起来更像人。它有更加灵活的行车交互的性能，这也是一个比较好的优势。最关键的就是它的安全性接管的里程大幅度上升。

右侧可以看到基本上是从国外拿过来它的几个数据，首先是安全接管里程，尤其是城区如此复杂场景，从上个版本的60，现在提升到153。它整个的Total Miles的里程度也是从116提升到200多，也是非常高的。最关键的是右下角，我们讲的MPI，百公里接管率就是下面的这个指标，它一次形成从A点到B点完整行程，从21%一路走来到当前的版本一路到70%，这个就表现非常不错。

在这个基础之上，我们再回到国内，首先要提的就是UniAD，去年6月份是一篇比较火的论文，它这个技术框架就是刚刚有嘉宾提到的，one-model的方式，我们爱芯判断one-model的方式才是一个相对靠谱的一个端到端的形式，尽管它在模型训练的环节可能会对算力要求更高。但是只有在这种技术架构的前提下，它把各个模块之间通过传递参数信息（parameter），变成传递矩阵信息（feature），才能最大化地保留它的各个模块之间的损失，性能才能提上来。对我们来说，尤其我们做芯片来讲，做芯片整个设计周期和研发周期比较长，要对未来做一些预判，所以我们是跳过了two-model的模式，现在比较盯着one-model的方式来做，就是UniAD。

其实我想提第二个，第二个就是生成式AI技术如何在自动驾驶技术栈落地。中间的就是DriveVLM视觉语言大模型，我们认为这可能是面向终局的一个方向。为什么？因为我们现在自动驾驶系统其实有点像一个人的小脑，它可能每次开车的时候是一个无意识的状态，我们自己开车，平时开车是属于基于习惯的，基于潜意识的这种状态在开车，尤其在自己熟悉的道路上。但是长尾的问题我们人类怎么解决的？

遇到不熟悉的道路，遇到一些特殊情况，我们一般会把车速降下来，自己好好观察一下这个环境，这个好好观察就意味着我们大脑介入了，大脑介入场景里面做严谨的分析，严谨的决策，再看我们怎么做。DriveVLM里面生成式AI技术，就是它有一个大模型，它就是这个作用。当然这里面替代小脑，下面很像UniAD技术栈，它代表的是一个小脑的作用，它是一个快系统，它反应起来更快一些。上面这一大部分其实就是生成式AI，它代表的是一个大脑的作用，虽然反应会慢一些，但是在长尾里面，可以思考得更深度更高一些。我们认为DriveVLM类似的架构才是终局，未来在芯片的NPU设计一定会考虑到这种方式。

接下来回到这样一个算法的技术，在我们已有的智能驾驶方案里面所扮演的作用。

对智驾方案分类非常多，我们主机厂的角度从功能的角度进行考量，来进行分割，包括L2、L2+、L2.5、L2.9等等是功能视角。我们是做芯片的，芯片是一个硬件的视角，硬件视角看待我们的智驾方案一般就是要看它的零部件的形态，这个大家一般都比较清楚。

最基础的就是一体机，稍微高阶一点的是5V到7V就是中型的域控制器的形态。最高阶就一般是11V到13V，现在已经向11V收敛，一个11V的大型域控制器，我们从硬件角度可以识别出这三种大的方案形态。

在这个方案形态里面，它的感知算法也是不一样的。我们自己内部也讨论过这个问题，现在这种端到端的技术方案会颠覆哪种方案形态？其实目前看起来只有在最高端才会产生一些变化，所以根据这种判断，我们习惯用智驾1.0或者ADAS1.0、2.0的这种概念。

我们自己做的梳理，首先在一体机，算法就是一般的感知算法，只有感知算法是基于AI的，剩下的这些规控都是基于rule-based甚至是model base design（基于模型的设计），连code base design（基于代码的设计）都不算。

中型域控制器是相对比较复杂的，早期是基于分离式感知，虽然是摄像头比较多，可能5-7个摄像头，但是都是单摄的感知，但是有了BEV和transformer之后，它的整个感知性能会有一个提升，所以它这里面会有两种形态。这一块我们也会有一些思考，这会影响到我们的NPU的设计。

第三个阶段，ADAS3.0，前两年大家做城区的NOA，为了把城区的NOA做好，因为对泛化能力有要求，所以要占用网格OCC，包括GOD一般障碍物的检测，这些感知也就加入了进来，这本来大家以为就是到了三个阶段就结束了，结果从去年端到端的这项技术，从我们的角度硬生生拆出来一个ADAS4.0的阶段，这个阶段对整个自动驾驶的技术范式产生颠覆的影响。

ADAS1.0到4.0的框架来指导我们后续NPU的设计。

爱芯元速在四个不同的ADAS阶段都会有对应的NPU的技术出现。

面向1.0，就是平常所说的一体机，它对性能没有特别高的要求，因为受到NCAP（新车评价规程）的需求牵引，一般是跑一些CNN的网络，一些比较低功耗的小模型，所以这一块我们会对应第二代的NPU来应对这种情况。

在第三代的NPU里面，就是ADAS2.0阶段，我们思考过这一块原来目前已有芯片和方案采用分立式的感知，由于它的传感器使用数量比较少，这个时候必须上一些更好、更高级的算法才能把性能提上来或者维持得住，所以我们第三代NPU支持了BEV和transformer这种更高端的算法。但是有一点它只是做感知。

ADAS3.0阶段已经支持端到端，而且支持one-model的方式。其实对我们整个城区NOA是比较大的提升，虽然现在做芯片，但是判断整个行业是有希望把MPI降到非常低的比例，这样能让我们整个NOA的可用性大大增强。

但是这个远远不够，在ADAS4.0阶段，就是第X代，也不一定是第六代，我们还有安防业务，安防业务迭代得更快，我们下一代面向车载这一块的NPU会考虑到生成式AI，跑一些大模型，视觉语言大模型的方式来给我们的整个智驾方案增加一个大脑，来把这些长尾的疑难场景一扫而光。

挑第五代的NPU跟大家展开来聊聊这种端到端大模型对芯片NPU设计的影响。

刚刚聊了这么多大模型，在芯片角度有三个最关键的需求是我们需要考虑的：一是高带宽；二是高内存；三是异构多核大算力。

第一，在架构设计上，我们采用的是一个异构多核的架构。我们会考虑到片间互联技术，以自己开发的一些ISA指令集来大大地提升计算的效率。

第二，为了承接它的高带宽和高内存的需求，我们会有一个近存计算的概念，就是SDMA，这一块是能够大大提高它的传输效率。

有了一个能够支持端到端的NPU技术，我们还需要一个比较好的工具链来支撑。

爱芯元智的工具链目前已经能够比较好地支持UniAD，就是one-model的端到端的一些算法和算子的子结构，包括BEV，包括transformer，包括双目，包括光流，包括占用网络等等算子都是支持的比较好。右边包括轻量级的LLM也能支持，当然它未来想要支持得更好，肯定就是需要再开发上一页的NPU X，那一代希望支持得更好一些。

刚刚从芯片的角度梳理了一下端到端这项技术的算法大概的总结，以及算法对NPU设计的影响，以及对应能够承接这项NPU技术的工具链，我们做了完整的梳理。

接下来介绍一下我们的产品规划。

我们从2022年7月份，M55是第一颗量产芯片，它是做一体机的一颗芯片，当前是一体机的方案上，在CMS方案上都有量产记录，而且量产的定点项目越来越多。

M76这是中型域控的芯片，它经过我们的思考，我们是增加了transformer和BEV的技术架构，虽然传感器比较少，5-7V，但是通过这样一个新的方式，能够把它的高速NOA、城区熟路模式能够很好地cover掉。

与此同时，今天正好想强调一下基于M55目前在一体机方案里面也迭代了一颗新的芯片叫M57，这颗芯片是一颗极致性价比的芯片，把MCU吃进去了，它内置了一颗MCU。它对800万的支持更好一些，同时也支持5V的行泊一体，这个方案的灵活性和性价比很高。

需要强调的就是M77芯片，这个M77就是目前支持端到端的算法的一颗芯片，它基于UniAD one-model的方式算法方案的芯片，目前国内支持的是最好的之一，希望对我们未来这两年在城区NOA的合作方，在这个赛道上能够支撑他们获取更高的竞争力。

汇报一下我们的业务进展。

M55是2022年7月份量产，现在已经有几十万的出货，其中在一体机市场上目前出货量排第二，同时这颗芯片由于工具链的效果比较好，易用性比较强，也是目前业内最快量产的一颗芯片，整个量产周期非常短。

除此之外，包括M55，包括M76这两颗芯片，目前整个业务推广非常顺利，尤其是今年下来，不光是有新势力车企，还包括传统的车企，也包括合资车企都采用了我们的方案。

前后呼应一下，爱芯元速希望成为车载行业的长期价值提供者。爱芯元智这家公司就是一个以技术创新驱动的一家公司，我们车载事业部也是秉承这种理念，在创新上，在技术上也是深度地去挖掘，包括对整个技术的预判做得也是非常深入，提前预判，提前布局，这也是我们取得成功的关键之一。

不光是在技术上要争夺先进性，在整个市场规模落地这一块，我们通过一些工具链的优化，通过更好对客户的服务和赋能，来帮助我们的合作伙伴更快地拿到一个自动驾驶的市场份额，也帮助自己的市场规模的提升。

爱芯元速其实是坚持定位Tier2，并为我们的合作伙伴做长期的赋能，坚持做车载行业的价值提供者。