端到端大模型催化智驾革命，智驾芯片如何演进？

日前，爱芯元智车载事业部技术副总裁逯建枫受邀参加2024中国汽车论坛分论坛演讲，从芯片企业的视角阐述了针对高阶智驾发展的思考。

他认为，端到端技术路线的性能表现，远超rule-based的规控效果，并且给出非常明确的判断：高阶智驾方案的端到端化是必由之路。演讲中他还分析了特斯拉FSD能力提升背后是端到端技术的应用，并且提出了ADAS1.0-ADAS4.0的发展阶段论，目前行业正处在向4.0阶段突破的关键时刻。

而要实现端到端自动驾驶，离不开关键的计算芯片的支持，包括架构的创新、核心IP的突破以及在性能上的飞跃。作为一家芯片企业，爱芯元智推出了一系列适应智驾算法架构演进的智驾芯片产品，并为之提供丰富的开发工具链，赋能所有合作伙伴及车企。

爱芯元智是量产速度最快、最高效的国产智驾芯片供应商，赋能车企的高效开发，同时也是国内出货量第二的智驾芯片商，出货已达数十万片，车企客户覆盖了新造车势力、主流合资车企以及国内TOP级自己品牌。

分享内容正文：

 去年11月，特斯拉发布了FSD的V12版本，表现惊艳。跟之前的智驾系统相比，V12版本具有强大的驾驶泛化能力以及拟人的驾驶风格。接管里程数也大幅提升，看右侧，V12版本相比较于此前版本的接管里程，大幅增加，更重要的是，里面包含的城市工况，比例也很高。 

Critical Disengagement —— 安全/关键接管

% of CriticalDE —— 无关键接管率、无安全接管率

第二张图展示的是对驾驶员从A点到B点的无严重接管成功率，以及完全无接管成功率。可以看到，随着版本的迭代，都在稳步上升；尤其是在V12.3版本中，完全无接管比例快速攀升。从V11版本的47%，攀升到了V12版本的70%，用户体验也大幅上升。

因此，可以看出，端到端技术路线的性能表现，远超rule-based的规控效果。

去年年中，上海人工智能实验室发表了一篇CVPR历史上首篇以自动驾驶为主题的最佳论文。主要介绍了首个感知决策一体化的自动驾驶大模型UniAD。这个算法方案，将传统的rule-based算法，做了全面的替代。在公开数据集的感知、预测、规划多项指标上，体现出了巨大的优势。特斯拉FSD V12版本，跟这个算法方案也是比较类似的，可以说是非常惊艳。

随着端到端技术范式的火热，学术机构也联合车企在今年年初发表了DriveVLM，进一步引入了生成式大模型模块。这个算法方案，也很有意思。

在这个系统里，有两个子系统，主系统是类似UniAD这种感知决策一体化的系统，来充当小脑。也就是相对来说，反应快，实时性好，尽量做到无意识，就像开手动挡汽车进行换档一样。可以认为，特斯拉FSD V12版本，就是为了替代人的小脑的作用。

除此之外，还有一个基于生成式AI构成的大视觉语言模型，来充当大脑。这个系统，可能反应慢一些。也就是说，实时性差一些。但是，在面对非常复杂的场景时，比如突发紧急情况、复杂的交通或不熟悉的路段，驾驶员需要更加集中注意力，来进行深思熟虑的决策。 

我们平时开车绝大多数情况并不会主动思考，绝大多数使用习惯和”下意识”，当遇到特殊情况时，大脑才会开始思考推理判断，人为的应对长尾问题的方法。这个就是DriveVLM算法方案的有意思的地方。

最后，在今年5月份时，在端到端的热潮下，自动驾驶Wayve公司获得了10.5亿美元融资，是英国AI公司有史以来最大的单笔融资。作为一家在自动驾驶领域进行具身智能研究的头部企业，Wayve发布的GAIA和LINGO两代架构分别对应UniAD的端到端架构和视觉语言大模型架构，与学术界对自动驾驶的方向认知高度一致。这个case，其实也就是为了呼应上述两种算法方案的主流性。

随着端到端技术的落地，对当前的智能驾驶方案也会产生一定的影响，这里做个梳理。

首先，关于智驾方案的划分方式很多，有从功能角度进行的类似L2、L2+、L2.5、L2.9等分类的；当然也有其他分类方式。

爱芯元智属于芯片厂商，所以我们的视角，偏硬件形态来描述的。所以我们根据负载，也就是传感器的数量，尤其以摄像头的数量，来划分。具体就是一体机、中型域控制器、大型域控制器三个类型。但是由于端到端技术的介入，已经明显存在四个技术阶段。

首先，在ADAS1.0阶段，方案形态其实是一体机。这种方案中，目前只有感知算法是基于AI的。甚至也有不少传统CV的算法在里面。当然，这对当前的一体机定位，也足够了。我们芯片厂商，也会在这这种方案上，进行持续的产品投入。

那么，在ADAS2.0阶段，方案形态其实是5V到7V的中型域控。这种方案，目前也是感知算法是基于AI的。不过，具体技术路线方面，正逐步由分立感知以及跨相机跟踪这条技术路线，向BEV/Transformer技术路线上收敛，来确保有限传感器的情况下，获得更优秀的感知效果。

最大的变化，目前出现在11V-13V的大型域控方面。前两年的高速和城区NOA，也就是ADAS3.0阶段，在感知算法方面，增加了占用网络和一般障碍物的检测，融入了激光雷达特征，大大提升了感知准确率。但是规控方面，基于规则的仍旧是主流。

到了去年底，随着特斯拉FSD的V12版本发布后，也就是ADAS4.0阶段，大型域控的端到端趋势已经非常明显，整个自动驾驶技术范式也在快速迭代升级。不管是类似UniAD的模块式算法方案，还是集成了生成式AI的、带有快慢系统概念的。eVLM方案，都会对芯片的设计，带来不小的影响。

参考：

【自动驾驶方案在过去几年快速迭代，经历了多个阶段：我们观点认为，从早期1.0到2.0阶段，从以CNN为主的分立感知到含有transformer结构的BEV感知，提高了效率；3.0阶段，引入了占用网络，融入了激光雷达特征，进一步提高了感知准确率，同时在规划控制模块逐渐有AI 规划器代替传统rule-based规划方案，但到此为止，感知到规控的传递依然是认为定义的显示接口，即传递障碍物框、车道线的坐标位置等；到了端到端时期，也就是4.0阶段，不同模块之间传递的是模型的特征feature，如同我们前面提到的UniAD,不同“former“模块之间使用K，V传递，最大化的保留了信息传递，减小了损失。而在端到端的后一阶段，视觉语言大模型的引入，即生成式端到端大模型，能够更好的解决复杂场景，某种程度真正地“解释”自动驾驶。快慢系统的引入，是否是自动驾驶的终局方案呢？（至少目前端到端方案达成了从业者研究者一定程度上的共识）】

以上介绍了四个不同ADAS阶段中的算法特点。爱芯元智也根据不同阶段，迭代了出了不同版本的NPU，来应对技术趋势的演进。

其中，要重点强调的是，我们在ADAS2.0阶段，也就是5V-7V的智驾方案中，就引入了支持BEV/Transformer的第三代NPU架构，来进一步提升系统的性能。同时，在第五代NPU中，提供类似FSD V12版本的端到端算法方案。

在最新一代的NPU中，支持生成式AI，为智驾系统增加大脑，提升复杂场景的理解能力。

通过以上的讲解，其实可以知道，端到端算法对于智驾芯片的关键需求就两个：高内存、以及多核大算力。

这里我着重介绍下我们爱芯的第五代NPU。它在架构设计上，采用了分布式的异构多核架构，并引入片间互联以及自研的指令集（ISA），提升运算的效率。

同时，对于大模型的高内存的需求预判，我们通过实现近存计算，来不断的突破算力天花板。

总之，爱芯第五代NPU，能够支持端到端模型在我们的大算力芯片上的规模化推理。数据高速传输，Transformer极致专项优化和高效部署。

注：芯片ISA（Instruction Set Architecture）是计算机的一个抽象模型描述，它作为计算机硬件及软件的一个服务接口，定义了一个硬件编程工程师（CPU设计师）设计需要的信息，包括支持的数据类型、存储体系、寄存器及其对应的操作（寻址、读写）、指令集及指令集编码。

爱芯元智拥有高效易用稳定的软件工具链，在软件层面同时支持端到端和LLM大模型。

那么，左边是对ADAS算法，主要是基于UniAD，以及重要的算子和子结构的支持情况；右边是针对大模型算法（轻量版的LLM）的支持情况。

在介绍了爱芯最新的NPU技术和工具链后，再给大家汇报下我们爱芯元速最新的产品路标。

我们在去年，快速落地量产了M55和M76两颗芯片。M55方面，我们量产了一体机方案和CMS方案；M76方面，相关的6V小域控方案也在量产落地中。

今年，我们持续在一体机方案上发力，又迭代了一颗M57芯片，内置MCU，支持8百万单目摄像头。通过这颗芯片，来帮助我们的合作伙伴们，进一步巩固产品优势。 

这里要强调的是我们的M77。M77其实在去年就已经在研发中了，但是由于去年年底智驾技术路线的风云突变，随着特斯拉FSD V12版本的推出，我们看到了巨大的技术路线迭代趋势，所以就对M77的NPU进行了重新的设计，这也造成了M77在时间点上有所推迟。

M55H 是爱芯元速第一款量产智驾芯片，2022年7月量产至今，出货已超数十万片，在国产ADAS一体机市场中，出货量排行第二。也是行业内最快速度量产上车的芯片。而且今年我们也收获了诸多新客户，包括新势力车企、自主品牌车企、合资车企等等，量产节奏正在快速推进中。

目前，针对M55、M76两款芯片产品，诸多量产项目正在紧锣密鼓开发中，包括电子后视镜系统（CMS）、行泊一体系统以及中高阶智驾系统，后续都将以具体的车型产品与大家见面。

最后做个总结：

爱芯一直是一家崇尚技术创新的公司，在车载SoC研发领域，我们也秉持创新的理念。正如我前面分享的，我们每一代芯片都做了提前的技术布局，很契合智驾行业发展的趋势，顺应技术演进方向，这也是我们能后来居上的原因。后续，我们还将持续推进智能计算技术的迭代。

有创新的技术，还得有客户使用才能体现价值。得益于我们在芯片大规模出货领域的深厚经验，我们在智驾芯片出货方面也快速形成了规模化，助推自动驾驶规模化落地。当然，这种高效率也得益于我们客户的支持与信赖。

最后想再重申一下我们的定位，我们坚定做Tier 2，秉持开放的理念，和咱们的生态合作伙伴以及客户一道，来加速中国乃至全球智能汽车产业的发展。