一级a做爰片免费网站中文,云主机和云桌面的区别,wordpress 获取表单数据,wordpress主题添加目录端到端自动驾驶#xff1a;挑战与前沿
End-to-End Autonomous Driving: Challenges and Frontiers
自动驾驶研究社区已见证了越来越多采用端到端算法框架的方法的快速增长#xff0c;这些方法利用原始传感器输入生成车辆的运动规划#xff0c;而不是专注于诸如检测和运动预测…端到端自动驾驶挑战与前沿
End-to-End Autonomous Driving: Challenges and Frontiers
自动驾驶研究社区已见证了越来越多采用端到端算法框架的方法的快速增长这些方法利用原始传感器输入生成车辆的运动规划而不是专注于诸如检测和运动预测等单独任务。与模块化流程相比端到端系统在感知与规划方面受益于联合特征优化。这一领域的发展得益于大规模数据集的可用性、闭环评估机制的发展以及自动驾驶算法在复杂场景中表现能力的日益增长需求。在本综述中我们对270余篇论文进行了全面分析涵盖了端到端自动驾驶的研究动机、发展路线、方法体系、面临的挑战以及未来趋势。我们深入探讨了多个关键挑战包括多模态、可解释性、因果混淆、鲁棒性和世界模型等。此外我们还讨论了基础模型和视觉预训练的最新进展以及如何将这些技术整合到端到端驾驶框架中。
一、引言
传统的自动驾驶系统采用模块化设计策略即将感知、预测和规划等各个功能单独开发并集成到车载系统中。其中负责生成转向与加速输出的规划或控制模块在决定驾驶体验方面起着至关重要的作用。在模块化流程中最常见的规划方法依赖于复杂的基于规则的设计但这类方法往往难以应对现实道路中出现的大量复杂情况。因此越来越多的研究趋势开始利用大规模数据尝试以基于学习的规划方法作为可行替代方案。我们将端到端的自动驾驶系统定义为一种完全可微分的程序输入为原始传感器数据输出为路径规划结果和/或底层控制动作。如图 (a)-(b) 所示展示了经典方法与端到端方法的区别。传统方法中每个模块的输出如目标边界框和车辆轨迹被直接输入到下一个模块中虚线箭头所示而端到端方法则在各模块之间传播特征表示灰色实线箭头。优化目标可设定为例如规划性能整体损失通过反向传播红色箭头进行最小化。任务在这一过程中以联合方式进行全局优化。
在本综述中我们对这一新兴领域进行了广泛的回顾。上图提供了我们工作的整体概览。我们首先讨论了端到端自动驾驶系统的研究动机与发展路线。端到端方法大致可分为模仿学习和强化学习两类我们简要回顾了这两种方法。接着我们介绍了用于闭环和开环评估的数据集与基准测试。我们还总结了一系列关键挑战包括可解释性、泛化能力、世界模型、因果混淆等问题。最后我们探讨了未来的发展趋势包括如何融合最新的数据引擎、大型基础模型等技术成果。
需要注意的是本综述主要从理论角度展开。实际工程中的诸如版本控制、单元测试、数据服务器、数据清洗、软硬件协同设计等内容在端到端技术的部署中同样扮演着关键角色。关于这些方面的最新实践目前公开信息较为有限。我们呼吁学术界和产业界在未来的交流中能更加开放共同推动该领域的发展。
一端到端系统的动机
在经典的自动驾驶流程中每个模型作为独立的组件服务于特定任务例如红绿灯检测。这种设计在可解释性和调试便利性方面具有优势。然而也存在以下缺点
1由于各模块的优化目标不同例如检测模块追求平均精度均值mAP而规划模块则关注驾驶的安全性和舒适性整个系统可能无法朝着统一的目标——即最终的规划/控制任务——进行优化。
2 随着流程的推进各模块产生的误差可能会逐步累积从而导致信息损失。
3此外相较于一个端到端的神经网络这种多任务、多模型的部署方式涉及多个编码器和信息传递系统可能会增加计算负担并导致计算资源的次优使用。
与传统方法相比端到端的自动驾驶系统具有以下几个优势
1最显著的优势在于它将感知、预测和规划整合为一个可以联合训练的模型实现了整体简化
2整个系统包括其中间表示都是围绕最终任务进行优化的
3共享的主干网络可提升计算效率
4基于数据的优化方式只需扩大训练资源就有可能提升系统性能。
需要注意的是端到端范式并不意味着整个系统必须是一个只输出规划/控制结果的“黑盒”。它也可以像图中(b) 所示那样包含中间表示和输出类似于传统方法。事实上一些最新的系统虽然采用了模块化设计但它们通过联合优化各个组件从而取得了更优的性能。
二路线图
下图展示了端到端自动驾驶领域关键成果的时间轴式发展路线图每一部分都代表了一个重要的范式转变或性能提升。端到端自动驾驶的历史可以追溯到 1988 年的 ALVINN 系统其输入来自摄像头的两个“视网膜”和激光测距仪一个简单的神经网络输出转向命令。随着 GPU 计算时代的到来NVIDIA 设计了一个原型的端到端卷积神经网络系统重新唤起了这一构想。随着深度神经网络的发展在模仿学习和强化学习方面都取得了显著进展。LBC 等方法提出的策略蒸馏范式通过模仿表现良好的专家策略大幅提升了闭环性能。为了增强模型的泛化能力缓解专家策略与学习策略之间的偏差一些工作在训练过程中提出了聚合基于当前策略的数据。
2021 年前后是一个重要的转折点。由于多种传感器配置可以在合理的计算预算下实现研究的重点转向了融合更多模态信息以及采用先进架构例如 Transformer以捕捉全局上下文与具代表性的特征。例如 TransFuser 及其多个变体就是典型代表。结合对仿真环境的深入理解这些设计在 CARLA 基准测试上带来了显著的性能提升。为了增强自动驾驶系统的可解释性与安全性一些方法引入了辅助模块以更好地监督学习过程或采用注意力可视化机制。近期的研究重点还包括生成安全关键场景数据、预训练用于策略学习的基础模型或主干网络以及倡导模块化的端到端规划理念。同时新的 CARLA v2 和 nuPlan 基准测试也被提出以进一步推动该领域的研究进展。
三与相关综述的比较
我们希望澄清本综述与先前相关综述之间的区别。部分早期综述在端到端系统方面涵盖了与我们相似的内容但它们未能覆盖该领域近期的重要转变所带来的新基准和新方法也较少关注前沿问题和面临的挑战。其他综述则聚焦于该领域的某些具体主题例如模仿学习或强化学习。相比之下我们的综述提供了该领域最新发展的信息涵盖了更广泛的主题并对关键挑战进行了深入探讨。
四贡献
总结来说本综述有三个主要贡献
a我们首次对端到端自动驾驶进行了全面分析涵盖了高层动机、方法论、基准测试等内容。我们主张不再仅仅优化单一模块而是从整体上设计算法框架最终目标是实现安全且舒适的自动驾驶。b我们深入研究了当前方法所面临的关键挑战。在调研的 270多篇论文中我们总结了主要方面并进行了深入分析包括泛化能力、语言引导学习、因果混淆等主题。c我们探讨了如何融合大型基础模型和数据引擎的广泛影响。我们认为这一研究方向及其所提供的大规模高质量数据将极大地推动该领域的发展。为了支持未来研究我们还维护了一个活跃的代码库持续更新相关文献和开源项目。
二、方法
本节回顾了大多数现有端到端自动驾驶方法背后的基本原理。首先讨论了使用模仿学习的方法并详细介绍了其中最常见的两种子类别即行为克隆和逆最优控制。其次总结了遵循强化学习范式的方法。
一模仿学习
模仿学习Imitation learningIL又称为示范学习learning from demonstrations通过模仿专家的行为来训练智能体学习策略。IL 需要一个包含专家策略 πβ\pi_\betaπβ 收集的轨迹的数据集 D{ξi}D \{\xi_i\}D{ξi}其中每条轨迹是状态-动作对的序列。IL 的目标是学习一个与 πβ\pi_\betaπβ 相匹配的智能体策略 π\piπ。
策略 π\piπ 可以输出规划的轨迹或控制信号。早期的工作通常采用控制信号作为输出因为采集更为方便。然而在不同时间步预测控制量可能导致不连续的操控行为而且网络本质上会专注于特定车辆的动力学从而不利于泛化到其他车辆。另一类方法则预测航路点waypoints考虑了相对更长的时间范围。与此同时将预测的轨迹转换为车辆跟踪所需的控制信号需要额外的控制器这并非易事涉及车辆模型和控制算法。由于目前尚未观察到这两种方法在性能上的明显差距因此本综述未对其进行显式区分。
IL 中广泛应用的一类方法是行为克隆Behavior CloningBC它将问题简化为监督学习。另一类是逆最优控制Inverse Optimal ControlIOC也称为逆强化学习Inverse Reinforcement LearningIRL其通过专家示范学习奖励函数。我们将在下文分别介绍这两类方法。
1) 行为克隆Behavior Cloning
在行为克隆中通过在收集到的数据集上以监督学习的方式最小化规划损失来使智能体的策略匹配专家策略
E(s,a) ℓ(πθ(s),a)
\mathbb{E}_{(s,a)} \, \ell(\pi_\theta(s), a)
E(s,a)ℓ(πθ(s),a)
其中ℓ(πθ(s),a)\ell(\pi_\theta(s), a)ℓ(πθ(s),a) 是衡量智能体动作与专家动作之间差距的损失函数。
BC 的早期应用如 ALVINN 等采用端到端神经网络从摄像头输入生成控制信号。后续的研究引入了多传感器输入、辅助任务和改进的专家设计使基于 BC 的端到端驾驶模型可以处理更复杂的城市场景。
BC 的优点在于其简洁高效不需要 RL 中至关重要的人工奖励函数设计。但也存在两个典型问题其一是在训练中将每个状态视为独立同分布从而导致协变量偏移covariate shift问题。为此提出了一些基于策略的数据收集方法如 DAgger 来缓解该问题。其二是因果混淆causal confusion即模仿者利用输入与输出之间的错误相关性进行学习。这两个问题将在第四章中进一步讨论。
2) 逆最优控制Inverse Optimal Control
传统的 IOC 方法试图从专家示范中学习未知的奖励函数 R(s,a)R(s, a)R(s,a)该奖励函数通常表示为一组特征的线性组合。
生成对抗模仿学习Generative Adversarial Imitation LearningGAIL是一类专门的 IOC 方法通过对抗目标设计奖励函数以区分专家策略和学习策略类似于生成对抗网络GAN的思想。近期还有一些工作提出结合感知辅助任务优化代价体积cost volume或代价函数cost function。由于代价是奖励的另一种形式因此我们将这些方法也归为 IOC 类别。
我们定义成本学习框架如下端到端方法学习一个合理的成本函数 c(⋅)c(\cdot)c(⋅)并通过轨迹采样器选出具有最小代价的轨迹 τ∗\tau^*τ∗如下图所示。关于代价的设计其表示可以包括鸟瞰图BEV中的学习代价体积、由其他交通参与者未来动作计算的联合能量或者一组概率语义占据或自由空间图层等。另一方面轨迹通常来源于专家轨迹集或基于运动学模型的参数采样。随后采用最大间隔损失来鼓励专家轨迹具有最小成本而其他轨迹具有较高成本。
但成本学习方法也面临挑战例如为了获得更现实的代价需要使用高精地图、感知辅助任务和多种传感器增加了多模态多任务框架的数据集构建和训练难度。尽管如此这类方法显著增强了端到端系统的安全性与可解释性我们认为其是一种具有现实应用前景的设计方式。
二强化学习
强化学习Reinforcement LearningRL是一种通过试错进行学习的方式。深度 Q 网络DQN在 Atari 基准测试中实现人类水平控制的成功使深度强化学习广受关注。DQN 训练一个称为评论者critic或 Q 网络的神经网络该网络以当前状态和动作作为输入预测该动作的折扣回报discounted return。策略则通过选择具有最高预测回报的动作来隐式定义。
RL 需要一个允许执行潜在不安全动作的环境以便收集新的数据例如通过随机动作。此外RL 的训练所需数据远多于 IL。因此现代 RL 方法常常在多个环境中并行化数据收集。满足这些要求在真实世界中具有很大挑战因此几乎所有使用 RL 的驾驶研究仅在仿真中进行大多数使用 DQN 的不同扩展版本。当前社区尚未在某一特定 RL 算法上达成共识。
RL 成功实现了在一条空街道上使用真实汽车进行车道跟随的学习。尽管这一结果令人鼓舞但值得注意的是类似任务在三十年前已经通过 IL 完成。迄今为止还没有报告显示使用 RL 进行端到端训练的结果能与 IL 相竞争。这一失败可能的原因在于RL 获得的梯度不足以训练深度感知结构如 ResNet而 RL 成功的 Atari 等基准测试所使用的模型相对较浅仅包含少量层。
RL 在与监督学习Supervised LearningSL结合时已被成功应用于端到端驾驶。隐式可供性方法使用 SL 对 CNN 编码器进行预训练如语义分割任务在第二阶段中冻结该编码器并使用现代版本的 Q 学习在冻结编码器生成的特征上训练一个浅层策略头。RL 还可以用于微调已通过 IL 预训练的完整网络。
如果网络可以访问模拟器的特权信息RL 也可以有效应用。特权 RL 智能体可用于数据集构建。例如Roach 在特权 BEV 语义地图上训练 RL 智能体并使用策略自动收集数据集从而训练下游的 IL 智能体。WoR 使用 Q 函数和表格动态规划为静态数据集生成额外或改进的标签。
当前该领域的挑战之一是将仿真中的研究成果迁移到真实世界。在 RL 中目标通过奖励函数表示许多算法要求奖励函数是密集的并在每个环境步骤提供反馈。目前的工作通常使用简单的目标如前进距离和碰撞规避。这些简化的设计可能会鼓励冒险行为。设计或学习更优的奖励函数仍是一个未解决的问题。另一个研究方向是开发能够处理稀疏奖励的 RL 算法从而直接优化相关指标。RL 可以有效结合世界模型尽管这带来了特定挑战4-3 节。当前的 RL 驾驶解决方案仍大量依赖场景的低维表示该问题将在 4-2节中进一步讨论。
三、基准评估
自动驾驶系统需要进行全面评估以确保其安全性。为实现这一目标研究人员必须使用合适的数据集、仿真器、评估指标和硬件对这些系统进行基准测试。本节将端到端自动驾驶系统的评估方法划分为三类1真实世界评估2仿真中的在线或闭环评估以及3驾驶数据集上的离线或开环评估。我们重点关注可扩展且具有原则性的在线仿真设置并为完整性总结真实世界与离线评估方法。类型是否实时在线是否有反馈闭环是否控制车辆应用模块场景离线评估❌ 否❌ 否❌ 否感知、预测数据包测试开环仿真✅/❌ 皆可❌ 否❌ 否感知、预测、部分规划场景播放响应测试在线仿真✅ 是❌/✅ 可有闭环✅ 可控制任意模块调试开发闭环仿真✅/❌ 皆可✅ 是✅ 是全栈联调系统验证一真实世界评估
早期对自动驾驶的基准测试主要依赖于真实世界评估。值得注意的是DARPA 发起了一系列比赛以推动自动驾驶的发展。第一次比赛设有 100 万美元奖金要求参赛车辆在没有人为干预的情况下完成穿越莫哈韦沙漠的 240 公里路线但没有团队成功完成。最终系列赛事“DARPA 城市挑战赛”要求车辆在一个模拟城市环境中行驶 96 公里遵守交通法规并避开障碍物。这些比赛推动了自动驾驶领域的重要进展例如激光雷达传感器的应用。
秉承这一精神密歇根大学建立了 MCity这是一个大型的受控真实世界环境旨在支持自动驾驶车辆的测试。然而由于缺乏足够的数据和车辆这类学术平台尚未被广泛应用于端到端系统的测试。相比之下拥有部署无人驾驶车队资源的工业界可以依靠真实世界评估来基准测试其算法的改进。
二在线/闭环仿真
在现实世界中测试自动驾驶系统的成本高昂且存在风险。为应对这一挑战仿真成为一个可行的替代方案。仿真器支持快速原型开发和测试能快速迭代新想法并以低成本提供多样化场景用于单元测试。此外仿真器还提供精确测量性能的工具。然而它们的主要缺点在于仿真环境中获得的结果不一定能泛化到真实世界详见第4-1节。
闭环评估涉及构建一个高度逼真的仿真环境用于部署自动驾驶系统并测量其性能。系统需在安全行驶的同时朝着指定目标地点导航。开发此类仿真器通常涉及四个主要子任务参数初始化、交通仿真、传感器仿真和车辆动力学仿真。以下是对这些子任务的简要描述并总结了当前可用于闭环评估的开源仿真器。
1参数初始化
仿真的优势之一是能高度控制环境如天气、地图、3D 资产及交通场景中物体的布局等低层次属性。然而参数众多导致设计复杂。目前的仿真器主要采用两种方式程序生成传统方式由 3D 艺术家和工程师手动调整参数这种方式可扩展性差。近年来一些仿真属性可通过概率分布采样生成即程序生成。这类算法结合规则、启发式和随机性用于创建多样化的道路网络、交通模式、光照条件及物体布局。尽管相比纯手工设计更高效但仍需大量预定义参数和算法来控制生成的稳定性这一过程既耗时又需大量专业知识。数据驱动数据驱动的初始化方式旨在通过学习得到所需参数。一种简单方式是直接从真实驾驶日志中采样如提取道路地图和交通模式。这种方法能捕捉真实世界中的自然变异性使仿真更贴近现实。但可能无法覆盖那些对于测试自动驾驶系统鲁棒性至关重要的罕见场景。可通过优化初始参数来增强这类场景的代表性。另一种先进方法是生成建模用机器学习算法学习真实数据的结构和分布从而生成类似但全新的仿真场景。2交通仿真
交通仿真涉及在环境中生成并定位虚拟实体使其具有逼真的运动行为。这些实体包括汽车、摩托车、自行车和行人等。仿真器需考虑速度、加速度、制动、障碍及其他实体行为的影响并定期更新交通信号灯状态以模拟真实城市交通。基于规则使用预定义规则来生成交通实体的运动。其中最典型的是 IDM智能驾驶员模型它基于当前速度、前车速度及期望安全距离计算车辆加速度。虽然简单广泛但在复杂城市环境中模拟真实交互常显不足。数据驱动人类的交通行为高度复杂且具互动性例如变道、汇入、紧急停车等。数据驱动方式通过学习真实驾驶数据来建模这类行为能够捕捉更细致的行为特征但需大量标注数据用于训练。3传感器仿真
传感器仿真对于端到端自动驾驶系统评估至关重要。其任务是在仿真中生成相应的原始传感器数据如摄像头图像或 LiDAR 点云需考虑噪声和遮挡以真实评估系统。基于图形渲染借助 3D 场景与实体模型通过传感器的物理成像过程近似生成数据例如摄像头图像中的遮挡、阴影和反射。这种方法受限于 3D 模型质量和物理建模的近似图像真实度有限且计算代价大不易并行处理。数据驱动基于真实传感器数据构建仿真常用的方法包括 NeRF神经辐射场和 3D Gaussian Splatting可从学得的几何与外观表示中生成新视角图像。这些方法在视觉上更真实但存在渲染耗时长或每个场景需单独训练的问题。另一方向是领域自适应利用深度学习如 GAN减少真实数据与图形仿真数据之间的差距。4车辆动力学仿真
最后一个方面是确保仿真车辆的运动符合物理规律。目前大多数开源仿真器使用简化模型如独轮车模型或自行车模型。然而为实现仿真到现实的无缝迁移更准确的物理建模是必需的。例如CARLA 使用多体系统表示车辆将其建模为四轮弹簧质量系统。
5基准测试我们在上表中简要总结了目前可用的端到端驾驶基准测试。2019 年 CARLA 的初始基准被几乎完美解决。随后推出的 NoCrash 基准测试要求在某个城镇和特定天气条件下训练并在新城镇和新天气中测试泛化能力。Town05 基准在所有城镇上训练保留 Town05 测试LAV 保留 Town02 和 Town05 测试。Roach 测试 3 个在训练中见过的城镇但不包括安全关键场景。Longest6 使用 6 个测试城镇。Leaderboard v2 服务更加严格评估路线保密路线平均超过 8 公里场景丰富度更高。
nuPlan 仿真器目前可通过 NAVSIM 项目用于评估端到端系统。此外还有两个使用数据驱动初始化方法的基准见第3-2节。Val14 基准使用 nuPlan 验证集2023 年 nuPlan 挑战的官方 leaderboard 使用私人测试集但目前已不再对外开放提交。
三 离线/开环评估
开放式评估主要用于衡量系统在预先记录的专家驾驶行为上的表现。该方法需要评估数据集包含以下内容1传感器读数、2目标位置、3与之对应的未来驾驶轨迹通常由人类驾驶员生成。系统以传感器输入和目标位置为输入通过将其预测的未来轨迹与驾驶日志中的轨迹进行比较来评估性能。评估指标包括预测轨迹与真实人类轨迹的接近程度以及与其他交通参与者发生碰撞的概率等辅助指标。
开放式评估的优点在于不需要仿真器便可借助真实交通与传感器数据轻松实现。然而它的主要缺点是无法评估系统在实际部署过程中所面临的测试分布上的表现。在测试过程中自动驾驶系统可能会偏离专家的驾驶轨迹因此验证系统从偏离状态中恢复的能力至关重要见第4-1 节。
此外在多模态场景下仅使用预测轨迹与记录轨迹之间的距离作为评估指标也并不理想。例如在汇入转弯车道的情况下无论是立即并入还是稍后并入都可能是合理的选择但开放式评估会惩罚数据中未出现的那一个选项。因此除了碰撞概率与预测误差一些研究还提出了其他评估指标以覆盖交通违规、前进进度与驾驶舒适性等更全面的维度。
该评估方法需要包含丰富驾驶轨迹的数据集作为支撑。最常用的数据集包括 nuScenes、Argoverse、Waymo 和 nuPlan。这些数据集均涵盖大量真实世界驾驶路径具备不同程度的挑战性。
然而由于前述局限性开放式评估的结果并不能提供系统在闭环控制中驾驶行为改进的确凿证据。因此未来研究中若条件允许建议优先采用更真实的闭环基准测试。
四、挑战
根据图 1 中展示的各个主题接下来我们将逐一介绍当前面临的挑战、相关工作或潜在的解决方案、风险以及机会。我们讨论处理不同输入模态所面临的挑战随后探讨高效策略学习所需的视觉抽象问题。接下来我们介绍几种学习范式包括世界模型学习、多任务框架以及策略蒸馏。
最后我们将讨论一系列阻碍端到端自动驾驶系统安全性与可靠性的共性问题包括可解释性、安全保障、因果混淆以及鲁棒性问题。
一感知与输入模态的两难问题
1感知与多传感器融合
感知尽管早期研究成功地利用单目摄像头实现了自动跟随车道但这种单一输入模态无法应对复杂场景。因此如下图所示近年来的自动驾驶车辆引入了多种传感器。特别是来自摄像头的 RGB 图像能够复现人类感知世界的方式提供丰富的语义信息激光雷达或双目摄像头提供精确的三维空间感知能力。新兴传感器如毫米波雷达和事件相机在捕捉物体相对运动方面表现突出。此外车速计和惯性测量单元IMU提供的车辆状态信息以及导航指令也是引导自动驾驶系统的重要输入。然而不同传感器存在视角、数据分布和成本上的巨大差异如何合理设计传感器布局并有效融合各类传感器仍是挑战。多传感器融合在感知相关领域如目标检测和语义分割中被广泛研究通常分为早期融合、中期融合和后期融合三类。端到端自动驾驶算法也探索了类似的融合策略。
早期融合在输入进入共享特征提取网络前就对传感器数据进行拼接其中拼接是最常见的融合方式。为解决视角差异一些工作将点云投影到图像上或反向操作即为激光雷达点预测语义标签。后期融合将来自不同模态的多个结果进行组合由于性能较差在自动驾驶中较少讨论。中期融合则是在网络内部对分别编码的输入在特征层进行融合。直接拼接在此处也很常见。近年来一些工作使用 Transformer 来建模多模态特征之间的交互。Transformer 中的注意力机制在汇聚不同传感器上下文信息方面表现出色从而提升了端到端驾驶的安全性。
受感知任务中 BEV 表示的启发将多模态数据统一建模在鸟瞰图空间中被证明是有益的。端到端驾驶还需关注与策略相关的上下文信息并舍弃无关细节相关内容将在第4-2节中进一步讨论。此外Transformer 中的自注意力机制虽然连接所有 token但计算开销巨大并不总能提取到有用信息。感知领域中一些先进的基于 Transformer 的融合机制对端到端驾驶任务具有潜在应用前景。
2语言作为输入
人类在驾驶时会结合视觉感知和内在知识从而形成具有因果性的行为。在与自动驾驶相关的具身智能Embodied AI等领域将自然语言作为细粒度的知识和指令以控制视觉运动代理取得了显著进展。然而与机器人任务相比驾驶任务本身更为直接无需任务拆解同时室外环境更为复杂动态体众多但锚定物稀少。
为将语言知识引入驾驶一些数据集被提出以衡量室外语义定位和视觉语言导航能力。例如HAD 数据集引入了人类给车辆的建议并添加了视觉对齐任务Sriram 等人将自然语言指令转化为高层次行为还有一些工作则直接实现了语言文本的定位CLIP-MC 和 LM-Nav 使用 CLIP 提取语言和图像中的知识与特征。
最近随着大语言模型LLMs的快速发展一些工作将感知到的场景编码为 token并将其输入到 LLM 中用于控制预测或文本解释。研究者还将驾驶任务建模为问答问题并构建了相应的评估基准。这些研究强调LLMs 有望处理复杂指令并具备跨数据域泛化能力这与机器人领域的优势相似。
不过在道路驾驶中使用 LLMs 目前仍面临挑战例如推理时间长、数值准确率低和输出不稳定等问题。潜在的解决方案包括将 LLM 部署在云端仅在复杂场景中调用或仅用于高层次行为预测任务。
二对视觉抽象的依赖
端到端自动驾驶系统大致包含两个阶段首先将状态编码为潜在的特征表示然后再利用中间特征解码出驾驶策略。在城市驾驶中输入状态即周围环境和自车状态相比于常见的策略学习基准如电子游戏更加多样且高维这可能导致表示与策略制定所需关注区域之间的不对齐。因此设计“良好”的中间感知表示或者先通过代理任务预训练视觉编码器是非常有益的。这可以让网络有效提取对驾驶有用的信息从而促进后续的策略学习阶段。此外这也有助于提高强化学习方法的样本效率。
1表示设计
朴素的表示是通过各种骨干网络提取的。经典的卷积神经网络CNN仍占据主导地位具有平移等变性和高效率的优势。使用深度信息预训练的 CNN 显著提升了感知和下游任务的性能。相比之下基于 Transformer 的特征提取器在感知任务中展现了良好的扩展能力但尚未广泛应用于端到端自动驾驶中。
针对驾驶特定的表示研究人员引入了鸟瞰图Bird’s-Eye-View, BEV概念将不同的传感器模态和时间信息融合在一个统一的三维空间中。这种表示也便于适配各种下游任务。此外还发展了基于栅格的三维占据表示以捕捉不规则物体并在路径规划中用于避障。然而相比于 BEV 方法稠密表示会带来巨大的计算开销。
另一个尚未解决的问题是地图的表示。传统自动驾驶依赖高精地图HD Maps但由于其高昂的获取成本出现了各种在线建图方法例如 BEV 分割、向量化车道线、中心线及其拓扑结构、以及车道段。然而目前尚未验证哪种表示形式最适合端到端系统。
尽管不同的表示设计为后续的决策过程提供了多种可能性但也带来了挑战因为整个系统的两个部分需要协同设计。此外考虑到一些简单但有效的方法通过扩大训练资源规模表现出良好性能目前是否有必要使用诸如地图等显式表示仍存在不确定性。
2表示学习
表示学习通常引入某种归纳偏置或先验信息。学习到的表示中不可避免地存在信息瓶颈而与决策无关的冗余上下文可能被移除。
一些早期方法直接使用预训练网络生成的语义分割掩码作为后续策略训练的输入表示。SESR 方法进一步通过变分自编码器VAE将分割掩码编码为类别解耦的表示。在一些方法中预测的可供性指标如红绿灯状态、与车道中心的偏移、与前车的距离被用作策略学习的表示。
鉴于语义分割等表示方式可能人为地引入瓶颈并导致有用信息的损失部分研究选择将预训练任务中得到的中间特征作为强化学习的有效表示。例如有研究使用 VAE 的潜在特征并结合分割图与深度图边界的注意力图突出重要区域。TARP 利用一系列先前任务的数据执行不同的任务相关预测从而获得有用的表示。还有研究通过逼近 π\piπ-仿射度量来学习潜在表示该度量由奖励差异和动态模型的输出差异组成。ACO 在对比学习结构中引入转向角分类来学习判别性特征。
最近PPGeo 提出结合运动预测与深度估计在未经标定的驾驶视频上以自监督方式学习有效表示。ViDAR 则使用原始图像-点云对通过点云预测任务预训练视觉编码器。这些工作表明基于大规模无标签数据的自监督表示学习在策略学习中具有潜力并值得未来进一步探索。
三基于模型的强化学习中世界建模的复杂性
除了更好地抽象感知表示的能力之外对于端到端模型来说能够对未来做出合理预测以执行安全操作也是至关重要的。在本节中我们主要讨论当前基于模型的策略学习工作所面临的挑战其中世界模型为策略模型提供显式的未来预测。
深度强化学习通常面临样本效率低的问题在自动驾驶中这一点尤为突出。基于模型的强化学习Model-Based Reinforcement Learning, MBRL为提升样本效率提供了一种有前景的方向其核心思想是允许智能体与学习得到的世界模型交互而不是与真实环境交互。MBRL 方法构建了一个显式的世界环境模型该模型由转移动态和奖励函数组成。在自动驾驶中这一点尤其有用因为像 CARLA 这样的仿真器运行速度相对较慢。
然而建模一个高度动态的环境是非常具有挑战性的。为简化问题有研究将转移动态因子化为非反应式世界模型和简单的自行车运动学模型。也有工作采用概率时序潜变量模型作为世界模型。为应对学习到的世界模型可能存在的不准确性有方法在训练策略网络时使用 dropout 正则化以估计不确定性成本也有方法采用多个世界模型的集合来进行不确定性估计并据此对虚拟轨迹进行截断与调整。
受 Dreamer 启发ISO-Dream 将视觉动态分解为可控与不可控的状态并在解耦后的状态上训练策略模型。
值得注意的是在原始图像空间中学习世界模型对于自动驾驶来说并不容易。诸如红绿灯这样的重要小细节在预测图像中很容易被遗漏。为了解决这一问题GenAD 和 DriveWM 引入了当前流行的扩散模型技术。MILE 在 BEV 分割空间中进行类似 Dreamer 的世界模型学习并将其作为模仿学习的辅助任务。SEM2 同样扩展了 Dreamer 的结构输入为 BEV 地图并使用强化学习进行训练。除了将学习到的世界模型直接用于 MBRL 外DeRL 还结合了无模型的 actor-critic 框架与世界模型通过融合两个模型对动作或状态的自我评估进行决策。
在端到端自动驾驶中进行世界模型学习是一个新兴且极具潜力的方向因为它显著降低了强化学习的样本复杂度同时理解世界本身对于驾驶是有益的。然而由于驾驶环境本身极其复杂和动态化仍需进一步研究以明确应建模哪些内容以及如何有效地构建世界模型。
四对多任务学习的依赖
多任务学习Multi-task Learning, MTL是指基于共享表示通过多个独立输出头共同完成若干相关任务。MTL 的优势包括降低计算成本、共享相关的领域知识以及利用任务之间的关系提升模型的泛化能力。因此MTL 非常适用于端到端自动驾驶场景其中最终的策略预测需要对环境有全面的理解。然而如何组合最合适的辅助任务以及如何合理设置各任务的损失权重以获得最佳性能是一个具有挑战性的问题。
与常见的视觉任务中稠密预测之间高度相关不同端到端自动驾驶中的输出通常是稀疏信号。这种稀疏的监督信号使得编码器在提取决策所需的有效信息时更加困难。对于图像输入语义分割和深度估计等辅助任务在端到端自动驾驶模型中被广泛采用。语义分割有助于模型获得对场景的高层次理解深度估计使模型能够捕捉环境的三维几何结构从而更好地估算与关键物体的距离。
除了作用于图像的辅助任务三维目标检测对处理激光雷达输入的编码器也具有重要价值。随着鸟瞰图BEV成为自动驾驶中的主流表示方式许多模型引入了 BEV 分割任务用于在 BEV 空间中聚合特征。
此外除了这些视觉任务一些模型还预测视觉可供性信息例如交通灯状态、与对向车道的距离等。这类信息同样可以为策略学习提供有价值的监督。
然而在真实应用中构建包含多种类型且高度对齐的高质量标注的大规模数据集并非易事。而当前模型对多任务学习的依赖使得这一问题仍是现实部署中的重大挑战。
五专家策略和策略蒸馏的低效问题
模仿学习Imitation Learning或其主要子类行为克隆Behavior Cloning本质上是监督学习通过模仿专家行为来训练模型因此相关方法通常遵循“教师-学生”Teacher-Student范式。该范式下存在两个主要挑战
(1) 教师如 CARLA 提供的手工设计的专家自动驾驶系统尽管能够访问周围车辆和地图的真实状态但并不是完美的驾驶员
(2) 学生模型仅依赖传感器输入并以录制的教师输出为监督信号需同时从头学习感知特征和策略。
一些研究提出将学习过程划分为两个阶段即先训练一个更强大的教师网络再将策略蒸馏到学生模型中。具体来说有方法首先让一个具有特权的智能体在可访问环境状态的前提下学习如何行动然后让感知-运动学生智能体在输出层模仿该特权智能体的行为。以更紧凑的 BEV 表示作为输入的特权智能体相比原始专家具有更强的泛化能力和监督能力。
除了只对规划结果进行监督也有工作在特征层面进行知识蒸馏。例如FMNet 利用分割模型和光流模型作为辅助教师来引导特征训练SAM 在教师和学生网络之间加入了 L2L_2L2 特征损失CaT 则在 BEV 空间中对齐特征WoR 学习一个基于模型的动作-价值函数并利用其监督视觉-运动策略Roach 利用强化学习训练出更强的特权专家从而突破了行为克隆的性能上限并融合了多个蒸馏目标包括动作分布、值函数/奖励以及潜在特征。
通过强化学习专家的强大能力TCP 在仅使用单摄像头输入的条件下在 CARLA 排行榜上达到了新的 SOTA 水平。DriveAdapter 则训练一个仅依赖感知的学生模型并通过特征对齐目标学习适配器模块。这种解耦式范式既充分利用了教师的知识又提升了学生的训练效率。
尽管已经投入大量精力设计鲁棒的专家模型并在多个层面转移知识教师-学生范式仍然面临蒸馏效率低的问题。例如特权智能体可以访问红绿灯等真实状态信息而这些在图像中是小物体很难蒸馏出对应的有效特征导致视觉-运动学生模型与其特权教师仍存在显著性能差距。这种差距还可能引发学生模型的因果混淆问题。因此未来值得进一步探索如何借鉴机器学习中更通用的知识蒸馏方法以尽可能缩小教师与学生之间的性能差距。
六缺乏可解释性
可解释性在自动驾驶中扮演着至关重要的角色。它不仅帮助工程师更好地调试系统还从社会角度提供性能保障并促进公众的接受度。实现端到端驾驶模型的可解释性尤其重要且具有挑战性因为这类模型通常被视为“黑箱”。
对于已训练好的模型可以使用一些事后可解释人工智能X-AI技术来生成显著性图。显著性图突出模型在规划决策中主要依赖的输入图像区域。然而这类方法提供的信息有限其有效性和可信度也较难评估。因此我们更关注在模型设计阶段就直接增强可解释性的端到端框架。下面介绍几种常见的可解释性方法。
注意力可视化注意力机制天然具有一定的可解释性。有研究通过学习注意力权重对中间特征图中的重要信息进行聚合。注意力权重也可用于自适应组合来自不同目标区域或固定网格的 ROI pooled 特征。NEAT 模型通过迭代方式聚合特征以预测注意力权重并不断优化聚合特征。近年来Transformer 中的注意力模块被用于更好地融合多模态输入其生成的注意力图可以显示模型在做出驾驶决策时关注的关键区域。在 PlanT 中注意力层处理来自不同车辆的特征提供了模型动作的可解释线索。虽然与显著性图类似注意力图可以提供直观的关注线索但其忠实性和实用性仍然有限。
可解释任务许多基于模仿学习的研究通过将潜在特征表示解码为语义分割、深度估计、目标检测、可供性预测、运动预测、注视点估计等附加信息从而增强可解释性。这些信息虽可被人类理解但在大多数情况下只是作为辅助任务并未显式参与最终决策。也有部分研究将这些输出用于决策安全检查但其作用仍有限。
规则整合与代价学习基于代价函数学习的方法与传统模块化系统相似因此具有一定的可解释性。有研究结合检测与运动预测结果构建代价体积也有研究将语义占据图与舒适性及交通规则约束结合用于代价函数建模。此外诸如概率占据、时序运动场、自由空间等表示也被用于对采样轨迹进行评分。有研究还显式整合了人类经验与预定义规则如安全性、舒适性、交通规则与路径用于轨迹评分从而提升系统的鲁棒性与安全性。
语言可解释性为了让人类更好地理解系统使用自然语言是一种直观方式。有研究构建了驾驶视频/图像与解释文本对齐的数据集并提出同时输出控制信号与语言解释的端到端模型。BEEF 将预测轨迹与中间感知特征融合用于生成驾驶决策的理由。ADAPT 提出基于 Transformer 的网络同时估计动作、叙述与推理过程。近期也有研究利用多模态大模型LLMs/VLMs为驾驶决策提供解释展现了跨模态解释的潜力。
不确定性建模不确定性提供了一种定量方式用于解释深度学习模型输出的可靠性帮助设计者与用户识别高风险场景以便改进或人工介入。在深度学习中不确定性通常分为两类随机性不确定性Aleatoric与认知性不确定性Epistemic。前者来自任务本身的固有噪声后者源于训练数据不足或模型容量受限。
有方法在模型中引入随机正则化通过多次前向传播采样来度量不确定性但这种方式不适合实时场景。另一些研究则通过专家模型集成的方式估计认知性不确定性从而实现更安全的规划。
对于随机性不确定性有研究直接预测驾驶动作的方差将其作为模型输出的一部分。规划器可以基于这些不确定性选择方差最小的动作或根据不确定性对多个动作加权组合最终输出更稳定的决策。目前不确定性的利用仍多依赖于硬编码规则未来仍需进一步探索如何在自动驾驶中更好地建模与利用不确定性。
七缺乏安全保障
在真实世界场景中部署自动驾驶系统时确保安全是最重要的。然而端到端框架基于学习的方法本质上缺乏传统基于规则方法所具备的精确数学安全性保证。尽管如此需要指出的是模块化驾驶系统已经在其运动规划或速度预测模块中引入了一些特定的安全约束或优化策略以强化系统的安全性。这些机制有潜力被改编为端到端模型的后处理步骤或安全检查从而为其提供额外的安全保障。此外如第4-6节中所讨论的中间可解释性预测结果例如目标检测和运动预测也可以被用于后处理流程中以增强系统的整体安全性。
八因果混淆
驾驶是一项具有时间连续性的任务过去的运动状态往往是预测下一步动作的可靠依据。然而使用多帧训练的方法可能会过度依赖这一“捷径”从而在实际部署时出现严重的失败。这一问题在某些研究中被称为“模仿者问题copycat problem”是因果混淆causal confusion的一种表现即获取了更多信息反而导致性能下降。
因果混淆在模仿学习中已是一个持续近二十年的挑战。LeCun 等人是最早报道这一现象的研究者之一。他们在预测转向角时仅使用单帧图像输入以避免这种过度推断。虽然这种方法较为简单但在当前最先进的模仿学习方法中仍然被广泛采用。不幸的是单帧输入难以提取周围参与者的运动信息。另一个因果混淆的来源是速度信息。例如当车辆在红灯前等待时长时间内其速度为零操作为刹车这种强相关性会被模型捕捉直到红灯变绿后才会被打破。
为了解决多帧输入引起的因果混淆问题已有多种方法被提出。在一项研究中作者通过引入对抗训练模型来预测自车历史动作从而从瓶颈特征中去除虚假的时间相关性。虽然这种最小-最大优化方法在 MuJoCo 环境中表现良好但在基于视觉的复杂驾驶场景中难以扩展。OREO 方法将图像映射为表示语义对象的离散编码并对具有相同编码的单元施加随机丢弃缓解了 Atari 游戏中的混淆问题。在端到端驾驶中ChauffeurNet 采用了自车过去的运动轨迹作为中间 BEV 抽象并在训练时以 50% 的概率进行丢弃。Wen 等人提出在训练损失中提高关键帧即决策发生变化的帧的权重因为这些帧不能通过对过去的外推预测。PrimeNet 通过集成策略提升关键帧表现即将单帧模型的预测作为多帧模型的附加输入。Chuang 等人也采用类似方法但用动作残差而非动作本身来监督多帧网络。此外采用仅使用 LiDAR 历史辅以单帧图像并将点云重新对齐到统一坐标系的方式也可绕过因果混淆问题。这种方法消除了自车运动影响但保留了其他车辆的历史状态信息已被多项研究采用尽管初衷并非为了解决该问题。
然而这些方法大多是在为研究因果混淆问题而特意简化的环境中验证的。是否能在第3-2节提到的最先进评测设置中实现性能提升仍是一个有待解决的开放问题。
九缺乏鲁棒性1长尾分布问题长尾分布问题的一个重要方面是数据集不平衡即少数类别占据了大多数样本如图 (a) 所示。这给模型在多样化环境中的泛化能力带来了巨大挑战。针对该问题已有多种数据处理方法被提出例如过采样、欠采样和数据增强等。此外基于权重的策略也被广泛应用。
在端到端自动驾驶中长尾分布问题尤为严重。大多数驾驶数据都是重复且无趣的例如持续多帧的车道跟随。而具有挑战性且对安全至关重要的场景却极为罕见且种类繁多出于安全原因在现实中难以复现。为此一些研究通过手工设计的模拟场景生成多样化数据。LBC 利用特权代理基于不同导航指令生成想象中的监督信号。LAV 引入了非自车体的轨迹来提升训练数据的多样性。有研究提出使用模拟框架结合重要性采样策略以加速对稀有事件概率的评估。
另一个研究方向是通过对抗攻击以数据驱动方式生成关键安全场景。例如有方法采用贝叶斯优化生成对抗性场景也有方法将驾驶情景表示为构建块的联合分布并使用策略梯度方法生成高风险场景AdvSim 则在保持物理合理性的前提下通过扰动交通参与体的轨迹制造失败KING 使用可微运动学模型的梯度优化算法来产生关键扰动。
总体来看有效生成符合现实且覆盖长尾分布的关键安全场景仍是一大挑战。虽然许多工作聚焦于仿真中的对抗性场景但充分挖掘现实世界中的关键数据并将其迁移到仿真环境中同样重要。此外构建系统化、严谨、全面且真实的测试框架对于评估端到端自动驾驶系统在长尾分布关键情境下的表现至关重要。
2协变量偏移问题如第2-1节所述行为克隆方法面临的一个关键挑战是协变量偏移问题。专家策略产生的状态分布与训练后策略产生的状态分布存在差异这会导致在测试环境中特别是遇到与训练中不同的其他交通参与体反应时错误会不断累积。这可能导致模型进入专家数据分布之外的状态从而引发严重错误。图 (b) 展示了这一问题。
DAggerDataset Aggregation是该问题的常用解决方案。它是一种迭代训练方法在每次迭代中当前策略用于收集新数据并由专家对访问到的状态进行标注从而增强数据集中关于如何从次优状态中恢复的样本。然后使用扩充后的数据集进行训练并重复该过程。但 DAgger 的一个缺点是需要能够在线访问的专家。
在端到端自动驾驶中DAgger 被用于与基于 MPC 的专家结合使用。为了降低频繁查询专家的成本SafeDAgger 通过学习一个安全策略来估计当前策略与专家策略之间的偏差仅在偏差较大时才查询专家。MetaDAgger 则结合元学习从多个环境中聚合数据。LBC 使用 DAgger 并对损失较高的数据进行更高频次的重采样。DARB 提出多个机制基于任务、策略或策略与专家联合以更好地利用失败或与安全相关的样本。
3领域适应问题领域适应是一种迁移学习形式其中特定任务在源域和目标域保持一致但两者的分布不同。这里我们讨论源域有标签而目标域无标签或标签稀少的场景。
如图c所示自动驾驶任务中的领域适应包含以下几类情况
仿真到真实训练所用仿真器与部署的真实世界之间存在巨大差异地理区域迁移不同地理位置导致的环境外观差异天气迁移由于雨、雾、雪等天气变化引起的传感器输入变化昼夜变化图像亮度的变化传感器迁移例如分辨率或安装位置不同导致的传感器差异。
上述情况往往相互交织。通常领域不变特征学习通过图像转换器与判别器将两种域的图像映射到共同的潜在空间或分割图等表征。LUSR 和 UAIL 分别采用循环一致性变分自编码器VAE和生成对抗网络GAN将图像投影到包含域特定和域通用部分的潜在表征空间中。SESR 从语义分割图中提取类别解耦编码以缩小仿真与真实之间的差距。领域随机化是一种简单有效的仿真到真实方法通过在训练阶段随机化渲染与物理设置使模型在训练时就能覆盖现实世界的变化。这种方法已被应用于端到端自动驾驶中的强化学习策略训练。
目前仿真到现实的图像映射与领域不变特征学习是研究重点。其他领域迁移问题多通过构建多样化的大规模数据集来应对。但当前方法主要集中在图像模态的视觉差异随着 LiDAR 成为越来越主流的输入模态亟需为其设计专门的适应方法。此外还应注意仿真器中交通参与体行为与现实世界的差异。将真实世界数据融入仿真例如通过 NeRF 技术也是一个有前景的方向。
五、未来趋势
考虑到前文讨论的挑战与机遇我们列出了一些未来研究的重要方向这些方向可能在该领域产生更广泛的影响。
一零样本与小样本学习
自动驾驶模型最终不可避免地会遇到超出其训练数据分布的真实世界场景。这就引出了一个问题我们能否在目标域中成功地适应模型即使该域中几乎没有或完全没有标注数据。为端到端驾驶任务正式定义这一问题并引入零样本/小样本学习领域的技术是实现这一目标的关键步骤。
二模块化的端到端规划
模块化的端到端规划框架在优化多个子模块的同时以最终的规划任务为优先目标具备如第4-6节所述的可解释性优势。这一理念在近期文献中被广泛倡导并被部分行业解决方案如 Tesla、Wayve 等所采纳。在设计这些可微分的感知模块时出现了一些关键问题例如在目标检测中是否有必要使用 3D 边界框静态场景感知中应选择 BEV 分割还是车道拓扑以及在模块数据有限的情况下采用何种训练策略等。
三数据引擎
对于自动驾驶而言大规模和高质量的数据始终至关重要。构建一个具备自动标注流程的数据引擎将极大地促进数据与模型的迭代发展。面向自动驾驶尤其是模块化端到端规划系统数据引擎需要实现高质量感知标注的自动化流程借助大型感知模型辅助完成。此外它还应支持困难/边缘案例的挖掘、场景生成与编辑以支撑第3-2节所述的数据驱动评估并推动数据多样性与模型泛化能力的提升见第4-1节。一个完善的数据引擎将使自动驾驶模型持续获得性能改进。
四基础模型
近期在语言和视觉领域的基础模型发展表明大规模数据与模型容量能够释放人工智能在高层次推理任务中的巨大潜力。微调、提示学习、以及通过自监督重建或对比对构建的优化范式等方法都可应用于端到端自动驾驶领域。
然而我们认为直接将大语言模型LLMs应用于自动驾驶可能并不合适。自动驾驶代理的输出需要稳定且精确的度量而语言模型的生成结果更偏向于“模仿人类”并不一定追求精准性。
一个可行的方案是开发一个“基础”驾驶模型即训练一个世界模型能够在二维、三维或潜在空间中预测环境的合理未来状态。为了在规划等下游任务中表现良好该模型所要优化的目标应当足够复杂超越单帧感知的水平。
六、总结与展望
在本综述中我们概述了端到端自动驾驶的基本方法并总结了仿真与评估的各个方面。我们全面分析了现有的大量文献强调了当前面临的诸多关键挑战与具有前景的解决方案。
展望多年来工业界投入了大量努力开发先进的基于模块的自动驾驶系统这些系统已能实现高速公路场景下的自动驾驶。然而在面对复杂场景例如城市街道与路口时这类系统仍面临重大挑战。因此越来越多的公司开始探索专为此类环境设计的端到端自动驾驶技术。
可以预见随着高质量数据的大规模采集、大模型的训练、以及可靠评估基准的建立端到端方法在性能与效果上将具有超越模块化系统的巨大潜力。总的来说端到端自动驾驶正面临前所未有的机遇与挑战其终极目标是构建通用智能体。在这一技术不断涌现的时代我们希望这篇综述能作为一个起点为该领域带来新的启发。
