西安网站建设外包,动漫设计专业大专学校,wordpress 字体 插件下载地址,歙县建设银行网站0. 简介
从作者的眼光来看自动驾驶和具身智能已经是越来越接近了。无论是技术栈以及实现的最终目的。其实都是希望人在环内。这个是古月直播的文字相关的大致梳理。主要会展开聊一聊自动驾驶的变迁以及作为自动驾驶的从业人员要着重关注的一些技术点
1. 自动驾驶的变迁
在自…0. 简介
从作者的眼光来看自动驾驶和具身智能已经是越来越接近了。无论是技术栈以及实现的最终目的。其实都是希望人在环内。这个是古月直播的文字相关的大致梳理。主要会展开聊一聊自动驾驶的变迁以及作为自动驾驶的从业人员要着重关注的一些技术点
1. 自动驾驶的变迁
在自动驾驶技术不断演进的过程中模块化设计的端到端架构逐渐显现出其独特的优势与挑战。在第二阶段的决策规划模块化设计中相较于传统的Rule-based方案系统在处理复杂场景的能力上得到了显著增强。这种基于模型的方法不仅充分利用了大量的数据还简化了模型的升级过程使得系统能够更快地适应新的环境和需求。
1.1 传统自动驾驶架构
传统的自动驾驶架构多衍生于机器人架构因此在机器人领域的感知-定位-规划三大模块及其功能衍生在很长时间内一直是自动驾驶架构发展的基调。典型的自动驾驶系统通常包含以下几个核心模块 感知模块Perception 感知模块负责收集和解释车辆周围环境的信息。这包括使用各种传感器如摄像头、激光雷达LiDAR、雷达和超声波传感器来检测和识别周围的物体例如其他车辆、行人、交通信号和道路标志。感知模块需要处理来自这些传感器的数据并将其转化为车辆可以理解的环境模型。传统的感知模块的输出更多是基于人类的定义例如对于周边障碍物的检测对于边界以及区域的分割等。传统的感知系统要保证其输出能够为人所理解代表了人类对于环境的一种抽象。 定位模块Localization 定位模块的任务是确定车辆在环境中的精确位置。这通常涉及到使用全球定位系统GPS、惯性测量单元IMU和传感器数据来估计车辆的全局位置。此外还可以使用基于地图的定位技术如将车辆的传感器数据与预先制作的详细地图进行匹配。 预测模块Prediction 预测模块用于预测其他道路使用者的行为和意图例如预测其他车辆的行驶轨迹和行人的移动。这有助于自动驾驶系统提前做出决策以避免潜在的碰撞和冲突。 决策与规划模块Decision and Planning 决策模块负责根据感知和预测的信息来制定车辆的行驶策略。这包括选择最佳的行驶路径、决定何时变道或超车以及如何应对复杂的交通情况。规划模块则负责生成详细的行驶轨迹确保车辆能够安全、高效地从当前位置行驶到目的地。 控制模块Control 控制模块是执行决策规划模块输出的实际车辆控制命令的系统。它负责精确控制车辆的油门、刹车和转向以实现平滑和安全的驾驶。 传统方案在模块上的划分使得每个模块的独立开发更加容易在进行问题追溯时也更加简单快速。然而这种方案的代价是限制了模块及整个系统所能达到的灵活性和泛化性的上限。
1.2 端到端自动驾驶架构的演变
目前自动驾驶架构的演进可以分为四个主要阶段
1.2.1 第一阶段感知“端到端”
这一阶段整个自动驾驶架构被拆分成了感知和预测决策规划两个主要模块其中感知模块已经通过基于多传感器融合的BEVBird Eye View鸟瞰图视角融合技术实现了模块级别的“端到端”。通过引入transformer以及跨传感器的cross attention方案感知输出检测结果的精度及稳定性相对之前的感知方案都有比较大的提升不过规划决策模块仍然以Rule-based为主。
1.2.2 第二阶段决策规划模型化
这个阶段整个自动驾驶架构仍然分为感知和预测决策规划两个主要模块其中感知端仍保持上一代的解决方案但预测决策规划模块的变动比较大——从预测到决策到规划的功能模块已经被集成到同一个神经网络当中。值得注意的是虽然感知和预测规划决策都是通过深度学习实现但是这两个主要模块之间的接口仍然基于人类的理解定义如障碍物位置道路边界等另外在这一阶段各模块仍然会进行独立训练。 1.2.3 第三阶段模块化端到端
从结构上来讲这一阶段的结构和上一阶段比较类似但是在网络结构的细节及训练方案上有很大不同。首先感知模块不再输出基于人类理解定义的结果而更多给出的是特征向量。相应地预测决策规划模块的综合模型基于特征向量输出运动规划的结果。除了两个模块之间的输出从基于人类可理解的抽象输出变为特征向量在训练方式上这个阶段的模型必须支持跨模块的梯度传导——两个模块均无法独立进行训练训练必须通过梯度传导的方式同时进行。 1.2.4 第四阶段One Model/单一模型端到端
在这一阶段就不再有感知、决策规划等功能的确划分。从原始信号输入到最终规划轨迹的输出直接采用同一个深度学习模型。基于实现方案的不同这一阶段的 One Model 可以是基于强化学习Reinforcement Learning, RL或模仿学习Imitation Learning, IL的端到端模型也可以通过世界模型这类生成式模型衍生而来。目前来看其实更多的工作其实还是集中在感知测。而类似FSD的WMRL的思路其实还是要依赖大量的数据去执行并去执行自监督学习 1.3 规则驱动→数据驱动→数据知识驱动
随着自动驾驶任务从单一的感知任务演变为感知和决策综合的多任务自动驾驶数据模态的多样性和丰富性变得至关重要。仅仅依靠大量收集的数据训练的模型只能是第三人称智能即从旁观者的角度观察、分析和评估人的行为和表现的人工智能系统也就是我们所说的如何让机器人/自动驾驶车辆具有自我思考的能力。自动动驾驶的最终形态将是实现驾驶领域的广义人工智能这使得从数据驱动范式向知识驱动范式的转变成为自动驾驶进化的必然要求。
知识驱动范式并非完全脱离原有的数据驱动方法而是在数据驱动方法的基础上增加了知识或常识的设计如常识判断、经验归纳、逻辑推理等。知识驱动方法需要不断从数据中进行总结并依靠人工智能体探索环境、获取一般知识并不是执行预先定义的⼈类规则或从收集的数据中描绘抽象特征。
1.3.1 基于规则驱动 基于规则场景理解在规则驱动的范式中自动驾驶系统依赖于专家定义的规则来理解驾驶场景。这些规则通常基于对交通规则、道路条件、车辆行为等的深入理解。
通过规则指导驾驶系统使用这些规则来做出决策如路径规划、速度控制和障碍物避让。例如遇到红灯时停车或者在特定路段限速行驶。
在自动驾驶刚刚开发的时候由于这种方法强调逻辑性和确定性仅仅适用于那些可以明确定义规则的场景。但随着自动驾驶场景增多、道路越来越复杂基于规则的范式以及不能满足自动驾驶相关技术的需求。
1.3.2 基于数据驱动 驾驶场景建模数据驱动范式侧重于通过大量数据来学习和模拟驾驶场景。这些数据可能包括传感器数据、驾驶员操作、交通流量、环境条件等。----即模仿学习
现实世界推断通过机器学习算法系统能够从数据中学习模式并将其应用于现实世界的驾驶任务。例如通过分析不同路况下的数据来优化行驶策略。----即强化学习
在这个阶段尽管数据驱动范式能够处理复杂的和不断变化的环境但需要大量的训练数据。随着收集的数据量的增长新极端情况的覆盖可能性降低能力增强的边际效应会越来越弱。
数据驱动的方法正逐渐接近其发展瓶颈。在预期的L1至L2的迭代过程中通过增加传感器数量从L1升级至L2再通过增加数据量实现L3并使其适应更多场景以达到L4甚至L5的级别。然而实际情况是尽管在L2阶段通过增加数据量却似乎遇到了一道难以逾越的障碍始终只能达到接近L3的L2.999水平感觉始终存在一个瓶颈。
1.3.3 基于数据知识驱动
知识增强表示空间知识驱动范式结合了自动驾驶领域的知识和数据。它通过将驾驶场景的信息引入一个知识增强的表示空间来丰富模型对场景的理解。
泛化知识推导系统不仅学习场景特定的模式还试图推导出更泛化的知识这些知识可以跨不同场景和条件进行应用。
知识反思引导通过反思和优化其决策过程以更智能和适应性更强的方式引导驾驶。例如系统可能会使用交通规则的知识来解释和预测其他车辆的行为。 在此阶段知识驱动的方法可以通过对多领域数据的经验进行求和来构建具有通用理解能力的基础模型从而将驾驶能力空间压缩到低维流形空间。这个空间对应的驾驶场景不仅包括训练时收集的数据还涵盖了大量未见过的数据包括大量的极端情况。
这其实就引入了具身智能这个概念具身智能在感知到场景后尝试理解该场景并制定计划。执行计划后可能产生两种结果成功或失败。成功则作为经验保存失败则需要模型进行反思并重新生成成功方案以避免类似事故。这些信息均存储于记忆库中。遇到类似场景时系统首先查询记忆库判断是否曾处理过类似情况并结合当前场景特性和以往经验做出决策。整个过程要求具身智能具备推理和决策能力。 另外除了理解当前场景还可以根据Transformer固有的特性将知识和数据结合起来构建世界模型WM有助于对驾驶环境有一个真实的理解。这种方法强调了不仅仅是数据收集还包括对数据的深入理解和知识的运用通过从多个来源收集数据来渲染模拟环境。世界模型的预测能力包括根据当前和过去的场景信息推断其他车辆的相对位置和运动趋势从而能够对各种行动的潜在影响进行建模并做出明智的决策。
2. 具身智能在机器人领域带来的工作应用
上面了解下来我们其实可以看到自动驾驶已经趋近于具身智能了也可以认为自动驾驶属于具身智能的一种。当前业界主要提到的具身智能主要还是集中在机器人和机械臂上。虽然技术栈大致类似但是里面还是涉及到一些区别的比如说机器人的执行面很多情况下有复杂的机械臂运动控制。比如说去年年底李飞飞团队发表了一篇名为 Voxposer 的论文介绍了一种基于 LLMLanguage to Layout Module语言到布局模块和 VLMVision to Layout Module视觉到布局模块的开放指令和开放物体轨迹规划器。这一进步将机器人建图和任务规划的边界推向了新的阶段。例如对于“打开抽屉但要小心花瓶”的指令LLM 会分析该指令并理解抽屉是轨迹的吸引区域affordance_map而花瓶是约束区域constraint_map。然后利用 VLM 获得花瓶和抽屉的具体位置。LLM 生成代码以构建 3D Value Map运动规划器可以零样本方式合成机器人执行任务的轨迹。 感知测区别其实大差不差。通过调整一些代码数据其实是可以做到通用的。而比较难的其实是机器人学习控制这块因为其自由度更高且更加复杂所以大多数工作集中在如何将机器人通过与环境互动和学习来获得新技能并适应环境。它将机器学习与机器人技术相结合目标是让机器人像人类一样学习和成长。其实机器人学习也经历了以下几个研究方向的发展
第一阶段传统控制算法与强化学习相结合用于机器人控制。
第二阶段深度强化学习DRL被引入DeepMind 的 AlphaGo 取得了显著成功。DRL 可以处理高维数据并学习复杂的行为模式特别适合决策和控制问题因此......
点击从自动驾驶到具身智能漫谈查看全文。
