近期发生的一些事情，让主机厂和中小ADAS公司感到不安，自动驾驶产业变革的速度，超出绝大多数人预期。

2022年各大汽车论坛，各ADAS公司主要宣传的是行泊一体方案，不少ADAS公司还为行泊一体方案在2023的市场爆发备货不少。到了2023年，在降本压力之下，各主机厂并没有大规模投入行泊一体。反而，在华为、毫末智行、百度、新势力车企的带动下，2023年竞争和宣传主旋律直接转向了高速NOA和城市NOA。

根据某自媒体的爆料，以及来自渠道的证实，西南某主机厂一开始委托多家中型Tier1联合做的高速NOA项目并不理想，导致该主机厂开始把NOA项目重新委托给一线Tier1——大疆和华为。华为原本在高端车型上做NOA，今年开始推出中低端方案，与中小ADAS Tier1开展竞争。

同时，新势力车企开始卷开通NOA的城市数量。8月底，特斯拉直播FSD V12的自动驾驶表现。FSD V12是有史以来第一个端到端AI自动驾驶系统。马斯克表示：“V12系统从头到尾都是通过AI实现。我们没有编程，没有程序员写一行代码来识别道路、行人等，全部交给了神经网络”。FSD V12的C++代码控制减少了10倍，从2万多行减少到2千行。特斯拉99%的决策都交给神经网络给出，视觉输入，控制输出，就像人类大脑一样。另外，FSD V12所拥有的超强能力，是经过巨量的「视频数据」训练，是在1万个H100加持下完成的。

FSD V12的自动驾驶表现让人惊艳，自动驾驶在AI大模型的支持下正面临临界点。据称FSD V12在2024年会进入中国，经过对中国道路的训练后，2025年会大规模上车。9月12日，余承东称问界城区NOA到2023年底全国主要城市都能开（据华为方面补充称，全国的城市都能开的含义，并不是全国所有城市的所有道路都能开，车辆需要行驶在有清晰道路边界的结构化道路上）。特斯拉和华为两大自动驾驶标杆，给其他车企和ADAS Tier1都带来了巨大的压力。

ADAS行业将何去何从？主机厂和ADAS企业正如何面对AI大模型和NOA带来的挑战？《2023年汽车AI算法和大模型应用研究报告》梳理ADAS算法和AI大模型的发展历程，挖掘AI大模型在汽车领域的发展方向。

端到端自动驾驶带来哪些改变？

自动驾驶算法系统分为端到端自动驾驶和模块化自动驾驶两类。模块化自动驾驶系统分为三层：环境感知层、决策规划层和控制执行层。在模块化自动驾驶系统中，不同团队负责不同的模块，可以实现更好的分工协作，从而提高开发效率。缺点就是整个系统非常复杂庞大、需要人工设计成百上千个模块。

端到端自动驾驶是指车辆将传感器采集到的信息（原始图像数据、原始点云数据等），直接送入到一个统一的深度学习神经网络，神经网络经过处理之后直接输出自动驾驶汽车的驾驶命令（方向盘转角、方向盘转速、油门踏板开度、制动踏板开度等）。在端到端自动驾驶中，没有人工设计的繁复规则，只需要极少的来自人类的训练数据，深度学习神经网络就会学会驾驶，且不用关心有没有高精地图覆盖。

当自动驾驶发展到城市NOA阶段，模块化自动驾驶算法已不能满足需要，端到端自动驾驶算法开始成为主流。并且模块化自动驾驶算法的积累，大多数不能迁移到端到端自动驾驶时代，基本上得重新开始。因此，当2023年比亚迪才开始大规模介入自动驾驶开发时，并不算晚。比亚迪宣称：“结合BEV感知等大模型的技术，是比亚迪的高阶智驾能够形成弯道超车的一个机会。并且智能驾驶与易四方平台结合，比亚迪正在研发出一些比较具有特色的高阶驾驶辅助功能。”

比亚迪说的换道超车，就是跳过模块化自动驾驶，直接进入（以AI大模型为基础的）端到端自动驾驶。

早期的自动驾驶感知算法主要是基于传统计算机视觉技术，直到 2010 年之后随着深度学习技术的发展，神经网络被引入到自动驾驶感知算法中，自动驾驶汽车的感知效果有了质的提升。应用于感知层面的神经网络模型可以分为两类，一类是以 CNN、RNN 为代表的小模型，另一类是 Transformer 大模型。

Transformer 是一种基于注意力机制（Attention Mechanism）的神经网络模型，由谷歌 2017 年论文《Attention is All You Need》提出，相比 RNN 的优势在于可并行计算、且能够处理长序列的输入，较CNN 的优势在于保留了位置信息、且解决远距离特征依赖问题。因此，Transformer 模型成了自然语言处理领域中最流行的模型之一。特斯拉率先将Transformer 引入到自动驾驶算法中，其他新势力车企和传统车企的新品牌纷纷跟进。

特斯拉自动驾驶算法迭代历程

为什么需要AI大模型？

城市NOA的需要：目前，主机厂正逐步从高速领航辅助驾驶向城市领航辅助驾驶（城市NOA）拓展。而从高速场景拓展到城市场景，意味着车辆所遇到的长尾问题（ Corner case）大幅增加。高速场景在特定路段下较为封闭，交通环境的标准化程度高；且高速驾驶规定对车辆的驾驶行为进行了明确的规范，交通参与者单纯不涉及到行人，并且驾驶状态的可预测性更强，因此高速 NOA 成为率先落地的场景。然而，城市场景下道路及路况复杂（红绿灯路口）、交通参与者多（行人、低速两轮车）、场景异质性强（不同城市甚至不同路段路况差异性大），自动驾驶遇到的 Corner Case大幅提升。因此，城市领航辅助驾驶的落地需求对自动驾驶模型的泛化能力提出更高的要求，同时考虑到商业化落地的成本约束，应用 AI 大模型提高泛化能力+降低/控制车端硬件成本是自动驾驶算法演变的核心脉络。

脱离高精度地图和降本的需要：2022年之前，国内主机厂实现城市领航辅助驾驶落地的主要基于高精度地图+单车感知的方案，但在实施过程中发现高精度地图最为突出的三个问题为：1）无法做到实时更新；2）法规风险；3）高成本。自动驾驶感知算法向 BEV+Transformer 架构升级，助力城市领航辅助驾驶脱高精度地图。

BEV 感知模型显著提高了在极端天气工况下的应对能力：在后融合模型下，如果遇到雨雪天极端天气工况，摄像头采集到的数据/视频流清晰度大幅下降，很难达到摄像头判断合格的标准，因此传递给后端做规划控制的结果大幅下降。与后融合模型不同，从不同视角的摄像头采集到的图片转换到 BEV 视角的过程中是特征级的融合，比如在极端天气工况下有一些光子信息依然反应了前方障碍物的情况可以用于后续的规划控制，在特征级融合的框架下感知模型对数据的利用率明显提升。

AI大模型除了在自动驾驶领域有成功的应用外，在智能座舱领域也有广阔的应用前景。MIT2020（5G）推进组C-V2X工作组组长葛雨明表示，大模型对智能座舱的影响可体现在三个方面：

图片来源：华为

如何面对AI大模型带来的挑战？

大数据和大算力是AI大模型应用的重要前置条件。Transformer 大模型量变引起质变需要 1 亿公里及以上的里程数据。并且，传感器采集得到的原始数据需进行标注后才可用于算法模型训练，自动标注工具可大幅提升数据处理速度。2018 年至今，特斯拉数据标注从 2D 人工标注逐步发展至 4D空间自动标注；国内厂商中小鹏、毫末智行等亦相继推出自动标注工具，大幅提升标注效率。除真实数据外，仿真场景是弥补训练大模型数据不足问题的重要解决方式。

生成式 AI 有望推动仿真场景大幅提升泛化能力，帮助主机厂提升仿真场景数据的应用比例，从而提高自动驾驶模型的迭代速度、缩短开发周期。

大算力是 Transformer 模型训练的另一重要条件，超算中心成为自动驾驶厂商重要的基础设施。特斯拉 AI 计算中心 Dojo 总计使用了 1.4 万个英伟达的 GPU 来训练 AI 模型，网络训练速度提升 30%，国内厂商中小鹏与阿里联合出资打造自动驾驶 AI 智算中心“扶摇”，将自动驾驶算法的模型训练时间提速 170 倍。

除了已经切入大模型应用，资金充裕的蔚小理等少数OEM，其他主机厂很难像特斯拉那样，在大数据大算力、超算中心、AI芯片自研上全面投入，借助AI大模型供应商的力量完善大模型应用水平，是相对务实的做法。

对于中小ADAS Tier1，独立推出能与华为NCA竞争的NOA方案基本不可能，智算中心的巨大投入就是逾越不了的高山。同时主流车企都开始转向自动驾驶自研，留给中小ADAS Tier1的机会越来越少，行业整合成为必然。一是加快上市步伐成为整合者，第二是寻求被并购的机会。行业大变革之下，有风险也有机会。华为等IT巨头员工成本高昂，主机厂也不愿意受IT巨头制约，因此中小ADAS Tier1也不是没有生存空间。中小ADAS Tier1下一步做好资源整合非常关键，在舱驾融合、跨域融合的趋势下，与AI大模型企业（如云知声、商汤、思必驰等）紧密合作，与座舱上市公司紧密合作，与底盘域企业紧密合作等等，都是可选项。

同样，AI大模型也给后来的AI芯片公司带来了机会。传统智驾SoC和座舱SoC供应商的大算力芯片并不完全符合AI大模型的需求，新兴AI芯片公司正好可以重新设计符合大模型需要的大算力芯片，借助主机厂的定制化需求迅速成长起来。

据地平线余凯分析，中国汽车智能化应用水平领先国外五年以上。在NOA和大模型推动下，国内企业将进一步拉大和国外Tier1的差距。本土Tier1站稳脚跟之后，也有望获得与国外OEM和Tier1巨头的合作机会。

正如Mobileye CEO Amnon Shashua 所说：" 能赢在中国，就能赢在全球。"

《2023年汽车AI算法和大模型应用研究报告》目录

共230页

01 自动驾驶算法分类与发展历程

1.1 自动驾驶系统分类

1.2 端到端自动驾驶与软件2.0

1.3 端到端自动驾驶模型案例：UniAD

1.4 百度AD算法发展历程

1.4.1 百度AD算法发展历程：模型1.0

1.4.2 百度AD算法发展历程：感知1.0

1.4.3 百度AD算法发展历程：感知2.0

1.4.4 百度AD算法发展历程：感知大模型

1.4.5 百度AD算法发展历程：大模型应用案例

1.5 特斯拉AD算法发展历程

1.5.1 特斯拉AD算法发展历程：进入重感知轻地图阶段

1.5.2 特斯拉AD算法发展历程：Occupancy Network

1.5.3 特斯拉AD算法发展历程：FSD Beta V12

1.5.4 特斯拉Dojo 超算中心

02 常见自动驾驶AI算法和模型

2.1 神经网络模型

2.1.1 DNN

2.1.2 CNN

2.1.3 RNN

2.1.4 Transformer

2.1.5 占用网络

2.1.6 AI算法的不足（1）

2.1.7 AI算法的不足（2）

2.1.8 AI算法的不足（3）

2.2 传统自动驾驶AI算法（小模型）

2.2.1 早期CNN的2D目标检测

2.2.2 智能驾驶早期CNN核心代表算法

2.2.3 3D Bounding Box

2.2.4 3D Bounding Box离不开激光雷达

2.2.5 6D-VISION

2.2.6 超越目标检测：语义分割

2.2.7 道路语义分割与移动目标语义分割

2.3 Transformer和BEV（大模型）

2.3.1 Transformer示意图

2.3.2 三种常见的Transfromer

2.3.3 大模型的根基是Transformer

2.3.4 为什么需要大模型

2.3.5 没有Code，只有NAS

2.3.6 端到端，不添加人工规则

2.3.7 基于Transformer的端到端目标检测

2.3.8 BEV+Transformer是“特征级融合”

2.3.9 已经和即将搭载 AI 大模型的国内车型

2.4 不同场景的算法应用

2.4.1 英伟达的交通标志和信号灯分类算法

2.4.2 特斯拉的车道线模型

2.4.3 理想汽车的复杂路口算法

2.4.4 规划控制：系统分类

2.4.5 规划控制：运动规划算法

2.4.6 规划控制：特斯拉的规控算法

2.5 AI算法对芯片的要求

2.5.1 AI算法对芯片的要求

2.5.2 AI算法对芯片的要求（1）

2.5.3 AI算法对芯片的要求（2）

2.5.4 AI算法对芯片的要求（3）

2.5.5 AI算法对芯片的要求（4）

2.5.6 大模型时代，存储芯片很重要

2.5.7 如何解决存储瓶颈（1）

2.5.8 如何解决存储瓶颈（2）

2.5.9 如何解决存储瓶颈（3）

2.5.10 新势力学习特斯拉，自研智驾芯片

03 AI大模型和智算中心简介

3.1 AI大模型简介

3.1.1 AI大模型发展历程

3.1.2 人工智能发展中AI大模型的地位

3.1.3 AI大模型的商业模式

3.1.4 AI大模型落地面临的挑战及未来发展趋势

3.1.5 大模型技术架构+参数规模持续迭代

3.2 AI大模型在汽车的应用

3.2.1 大模型在汽车的应用方向

3.2.2 大模型在智能座舱的应用

3.2.3 大模型在智能驾驶的应用

3.2.4 AI大模型在汽车应用的挑战

3.2.5 大模型应用对传感器的影响

3.3 智算中心

3.3.1 智算中心简介

3.3.2 中国智算中心的发展历程

3.3.3 智算中心2.0时代

3.3.4 智算中心建设情况

3.3.5 智算中心产业链

3.3.6 智算中心总体架构图

3.3.7 自动驾驶领域建立智算中心的原因

3.3.8 搭建自动驾驶智算中心的成本

3.3.9 搭建自动驾驶智算中心遇到的问题

3.3.10 自动驾驶公司AI大模型和算力配置情况

3.3.11 主机厂导入大模型的模式

3.3.12 汽车行业大模型及智算中心进展汇总（供应商）

3.3.13 汽车行业大模型及智算中心进展汇总（主机厂）

04 特斯拉算法和大模型应用解析

4.1 特斯拉算法融合CNN和Transformer

4.1.1 特斯拉视觉感知框架发展历程

4.1.2 特斯拉视觉算法架构

4.1.3 特斯拉视觉算法架构（含NeRF）

4.1.4 特斯拉视觉算法的骨架、脖颈、头

4.1.5 特斯拉视觉系统核心HydraNet

4.1.6 特斯拉2D转3D图像

4.1.7 特斯拉在head部分用了Transformer

4.1.8 Swin Transformer与传统CNN骨干网的对比

4.1.9 Swin Transformer消耗算力最低

4.1.10 特斯拉的骨干网RegNet

4.1.11 特斯拉视觉的BiFPN

4.2 Transformer将2D变3D

4.2.1 特斯拉Transformer、BEV与矢量空间表达

4.2.2 特斯拉Image-to-BEV Transformer

4.2.3 特斯拉Occupancy Network

4.2.4 DETR 3D架构

4.2.5 特斯拉Transformer模型

4.2.6 特斯拉3D目标检测

4.2.7 NeRF与隐式神经网络

4.3 Occupancy Network与语义分割及时空序列

4.3.1 特斯拉视觉框架

4.3.2 3D目标检测与3D语义分割

4.3.3 反卷积Deconvolution

4.3.4 特斯拉视频神经网络架构

4.3.5 特征队列Feature Queue

4.3.6 特征队列 - 时间序列

4.3.7 特征队列 - 空间序列

4.3.8 Spatial特征

4.4 LaneGCN与搜索树

4.4.1 特斯拉车道神经网络

4.4.2 特斯拉的矢量地图

4.4.3 LaneGCN架构

4.4.4 特斯拉的AR模型

4.4.5 特斯拉的轨迹规划MCTS

4.4.6 MCTS算法优化核心思想

4.5 数据闭环和数据引擎

4.5.1 特斯拉影子模式

4.5.2 特斯拉数据引擎

4.5.3 数据引擎案例

05 AI算法和大模型供应商研究

5.1 毫末智行

5.1.1 毫末智行公司简介

5.1.2 数据智能体系——MANA 系统

5.1.3 智算中心——MANA OASIS

5.1.4 毫末智行对大模型的研究和应用

5.1.5 MANA的五大模型

5.1.6 人驾自监督认知大模型和多模态大模型

5.1.6 视频自监督大模型

5.1.6 3D重建大模型

5.1.6 动态环境大模型

5.1.7 毫末的数据来源

5.1.8 五大模型及智算中心对毫末的助力

5.1.9 推出DriveGPT

5.1.10 DriveGPT和ChapGPT的对比

5.2 轻舟智航

5.2.1 轻舟智航简介

5.2.2 轻舟智航的超融合感知框架

5.2.3 轻舟智航特征和时序融合大模型

5.2.4 OmniNet大模型推动量产方案的落地

5.2.5 轻舟智航的预测算法模型

5.2.6 自动驾驶研发工具链

5.3 百度

5.3.1 百度智能云简介

5.3.2 百度 Apollo 简介

5.3.3 文心大模型

5.3.4 文心大模型在汽车行业的应用

5.3.5 文心大模型提升百度感知算法能力

5.3.6 百度智算中心

5.3.7 百度正式发布文心一言，多家主机厂已加入该生态

5.4 浪潮

5.4.1 浪潮集团简介

5.4.2 淮海智算中心的三大亮点

5.4.3 自动驾驶计算框架AutoDRRT

5.5 商汤科技

5.5.1 商汤科技简介

5.5.2 商汤日日新大模型体系

5.5.3 商汤AIDC智算中心

5.5.4 商汤大模型在座舱领域的应用

5.5.5 商汤SenseAuto Empower

5.5.6 商汤UniAD大模型

5.6 华为

5.6.1 华为盘古大模型3.0

5.6.2 预标注大模型

5.6.3 场景生成大模型和大模型降本

5.6.4 数据闭环工具链

5.7 云知声

5.7.1 云知声推出山海大模型

5.7.2 云知声AI在座舱的应用

5.8 科大讯飞

5.8.1 科大讯飞发布“星火”认知大模型

5.8.2 “星火”认知大模型应用于智能座舱

5.8.3 在认知大模型的投入和价值实现方式

5.9 思必驰

5.9.1 思必驰发布语言大模型并与多家车企签约

5.9.2 DFM-2 大模型

5.9.3 思必驰大模型发展规划

5.10 旷视科技

5.10.1 旷视的自动驾驶方案

5.10.2 旷视的自动驾驶算法模型

5.11 其他

5.11.1 斑马智行引入通义千问大模型

5.11.2 科大讯飞发布“星火”认知大模型

5.11.3 中科创达魔方大模型

5.11.4 火山引擎

5.11.5 地平线端侧部署大模型

06 主机厂大模型应用研究

6.1 小鹏

6.1.1 小鹏简介

6.1.2 小鹏Transformer大模型

6.1.3 小鹏的数据处理

6.1.4 小鹏扶摇智算中心

6.2 理想汽车

6.2.1 理想的大模型布局

6.2.2 大模型在理想自动驾驶的应用

6.2.3 NPN和TIN

6.2.4 动态BEV

6.3 吉利

6.3.1 公司简介

6.3.2 吉利星睿智算中心

6.3.3 吉利星睿智算中心的领先技术

6.3.4 吉利星睿智算中心的能力

6.3.5 吉利-百度·文心大模型

6.4 通用汽车

6.4.1 通用汽车考虑基于ChatGPT技术推出车载语音助手

6.4.2 通用汽车与谷歌开展AI合作

6.5 比亚迪

6.5.1 利用BEV感知等大模型实现弯道超车

6.5.2 多传感器多任务融合感知

6.5.3 将实现感知、预测、决策规划全流程的数据驱动大模型

6.6 其他车企

6.6.1 长城 AI大模型应用和布局

6.6.2 广汽推出AI大模型平台

6.6.3 奇瑞星途星纪元ES搭载认知大模型

6.6.4 上汽通用五菱

6.6.5 长安汽车

6.6.6 奔驰应用ChatGPT