CVPR最佳论文：大模型成就端到端自动驾驶｜焦点分析

文丨李安琪

编辑丨李勤

与自动驾驶相关文章，首次获得全球顶级计算机视觉会议CVPR的最佳论文。

6月22日，全球顶级计算机视觉会议CVPR 2023公布了最佳论文等奖项。一篇名为《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）论文，成功从9155篇投稿、2359篇接收论文、12篇入选最佳论文候选名单中脱颖而出。

这也是近十年来，CVPR会议上第一篇以中国学术机构作为第一单位的最佳论文。该论文由上海人工智能实验室、武汉大学及商汤科技联合完成。

CVPR在学术界及产业界的影响力毋庸置疑，与ICCV、ECCV并列为计算机视觉领域三大顶级会议。全球最聪明的头脑汇聚于此，特斯拉也连续几年在CVPR上公布其自动驾驶技术最新进展。

今年的竞争相当激烈。据公开信息，今年12篇入选最佳论文候选名单机构，不仅有谷歌、Stability AI等人工智能领域顶尖企业，也有上海人工智能实验室、斯坦福大学、康奈尔大学、香港中文大学、香港科技大学、南洋理工大学等研究机构及高校。

而上海人工智能实验室、武汉大学及商汤科技联合获奖的关键在于，提出了一个感知决策一体化的自动驾驶通用大模型UniAD。

大会官方组委会认为，论文提出的端到端感知决策一体框架，融合了多任务联合学习的新范式，使得进行更有效的信息交换，协调感知预测决策，以进一步提升路径规划能力。

这证明了大模型与自动驾驶产业结合的潜力。今年初，ChatGPT的爆火，让机器学习与理解人类语言的能力有了本质飞跃。而大模型，也有望为自动驾驶产业落地指出更清晰的方向。

端到端的自动驾驶大模型UniAD

论文指出，随着深度学习发展，自动驾驶算法被组装成一系列任务，包括目标检测与跟踪、在线建图、轨迹预测、占据栅格预测等子任务。

基于这些子任务，行业有着多种自动驾驶系统框架设计：模块化设计，多任务框架，但两种方案都面临着累积错误或任务协调不足的困扰。

比如自动驾驶公司Waymo、Cruise采用的模块化设计方案，每个独立的模块负责单独的子任务。这种方案具备简化研发团队分工，便于问题回溯，易于调试迭代等优点。但由于将不同任务解耦，各个模块相对于最终的驾驶规划目标存在信息损失问题，且多个模块间优化目标不一致，误差会在模块间传递。

论文认为，多任务框架是更优雅的一种设计方案，代表性企业有美国特斯拉、中国小鹏汽车等。方案中不同任务使用同一个特征提取器，具备便于任务拓展、节省计算资源等优点。但不同任务之间仍存在预测不一致、表征冲突的问题。

a为模块化设计、b为多任务框架、c1/c2为两种端到端方案、c3为UniAD方案示意 图源论文

相比之下，端到端自动驾驶方案将感知、预测和规划所有节点视为一个整体，但现有的两种端到端方案也还面临挑战。

一种简单的方式直接以传感器信号作为输入、以轨迹/控制作为输出，能够在仿真中取得较好结果，但缺乏可解释性与实际应用安全性，尤其是在复杂的城市道路场景。

另一种方案是，对模型进行显式设计，将整个架构分为感知-预测-规划模块，使其具有部分中间结果表达。但这种方式面临检测结果在模块间不可微导致无法端到端优化，稠密BEV预测时长有限，过去-未来、物体-场景等多维度信息难以高效利用等困难。

因此，本篇论文提出了一个端到端方案Unified Autonomous Driving，即UniAD。上海人工智能实验室指出，UniAD能够成功解决不同任务融合难的问题，从而实现多任务和高性能的关键在于以下两点。

一是多组查询向量的全Transformer 模型：UniAD利用多组 query 实现了全栈 Transformer 的端到端模型，可以从具体 Transformer 的输入输出感受到信息融合。二是以最终“规划”为目标，全部模块通过输出特定的特征来帮助实现最终的目标“规划”。

自动驾驶端到端架构 (UniAD) 的流程 图源论文

从论文来看，UniAD 将感知、预测、规划等三大类主任务、六小类子任务（目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划）整合到统一的端到端网络框架下。

具体来说，将一系列多摄像头图像输入特征提取器，并通过 BEVFormer 转换为统一的鸟瞰图（BEV）。这部分可以快速替换为其他BEV模型，具有较好可拓展性。

在感知环节中，UniAD的目标检测与跟踪模块可以实现对动态元素的特征提取、帧间物体跟踪；在线建图模块实现了对静态物体的特征提取、实例级地图预测；

在预测模块，UniAD可以实现动静态元素交互与长时序轨迹预测；占据栅格预测模块实现了短时序全场景BEV、实例级预测；

在规划模块，UniAD实现基于自车query的轨迹预测和基于占据栅格的碰撞优化。

论文表示，UniAD 的培训分两个阶段：首先联合训练感知部分，即目标跟踪和建图模块，这将持续几个阶段（在实验中为 6个阶段），然后使用所有感知、预测和规划模块端到端地训练模型20个阶段。

从结果来看，论文表示，在 nuScenes 真实场景数据集下，所有任务均达到领域最佳性能（State-of-the-art），尤其是预测和规划效果远超之前最好方案。其中，多目标跟踪准确率超越SOTA 20%，车道线预测准确率提升30%，预测运动位移和规划的误差则分别降低了38%和28%。

在晴天直行场景中，UniAD 可以感知左前方等待的黑色车辆，预测其未来轨迹（即将左转驶入自车的车道），并立即减速以进行避让，待黑车驶离后再恢复正常速度直行 图源上海人工智能实验室

在雨天转弯场景中，即便面对视野干扰较大且场景复杂的十字路口，UniAD 能通过分割模块生成十字路口的整体道路结构（如右侧 BEV图中的绿色分割结果所示），并完成大幅度的左转 图源上海人工智能实验室

从论文到产业还要多久？

当然，从前瞻学术论文到产业跟进、技术大规模惠普，所需要的时间并不短。

以当下被行业火热讨论的BEV为例。2021年特斯拉首次基于Transformer将摄像头2D图像拼接转化成3D图景，生成鸟瞰图 “Bird's Eye View”，简称“BEV”。这是大模型在自动驾驶感知环节的应用。

两年时间过去，当下国内企业虽已纷纷跟进，但仅有少数几家能拿出先期成果。

而UniAD大模型是更为庞大的、涉及感知、预测、规划的复杂系统工程，其中的技术优化与工程化落地只会比BEV更艰难。

论文本身也指出，协调这样一个具有多个任务的综合系统并非易事，需要大量的计算能力，尤其是经过时间历史训练的计算能力。如何为轻量级部署设计和管理系统值得未来探索。

论文作者之一、上海人工智能实验室青年科学家李弘扬博士表示，UniAD提供了全套关键自动驾驶任务配置，其充分的可解释性、安全性、与多模块的可持续迭代性，是目前为止最具希望实际部署的端到端模型。这套基于视觉的全栈自动驾驶框架，据初步测算，每年节省激光雷达与标注成本可达千万级。

部分玩家已经在行动。据36氪了解，小鹏和理想汽车都在筹备研发全栈端到端自动驾驶方案。“目前效果还不太好，但潜力很大。”有内部人士透露。

总而言之，新的技术的种子已经播下，行业新一轮竞赛也可能已经开始。接下来，就看谁能给出更肥沃的土壤与更恒久的耐心。

文章参考：

1.《Planning-oriented Autonomous Driving》

2.《AIR学术｜上海人工智能实验室李弘扬、陈立：端到端自动驾驶算法设计思考》

3.《上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023》