好品质高端网站设计新感觉建站,南安市建设局网站,律师在哪个网站做,免费行情网站在线过去的十几年间#xff0c;工业界讨论最多的话题之一就是IT/OT 融合#xff0c;现在#xff0c;我们不仅要实现IT/OT 的融合#xff0c;更要面向AI/OT 的融合。看起来不太靠谱#xff0c;却留给我们无限的想象空间。OT 领域的专家们不要再当“九斤老太”#xff0c;指责这… 过去的十几年间工业界讨论最多的话题之一就是IT/OT 融合现在我们不仅要实现IT/OT 的融合更要面向AI/OT 的融合。看起来不太靠谱却留给我们无限的想象空间。OT 领域的专家们不要再当“九斤老太”指责这个不靠谱那个不可靠。 创新的步伐永无止境 要学习迪士尼公司的精神做出了娱乐领域机器人的大模型不断地用新技术在自己的一亩三分地上构建护城河。别人靠某些雕虫小技都难以打进他们的领地。 本文以AI 大模型为核心的机器人技术迅速突起特别是通用型人形机器人的热门话题为契机谈谈AI/OT 融合的重要性。 大模型为主的机器人技术领域颠覆了我们的三观。这些技术与过去自动控制领域的许多观点是截然不同也许这就是所谓的“All In AI ”吧。在过去很长一段时间机械臂的运动轨迹都是预先规划和编程的。 建立一个机械臂应用需要使用机械臂公司提供的机器臂语言编写 使用通信协议进行设置或者使用示教器编程。这些运动轨迹往往是固定的预定义的开发工作的陈本很高。 AI 大模型出现之后机器人控制范式发生了变化机器人控制器通过收集环境参数机器人自身的状态以及完成的命令也许是将红球放到盒子里通过大模型通常称为物理大模型生成运动轨迹进一步有ROS 控制执行部件完成物理动作。这里传统的机械臂编程都不需要了之前多数是使用一台PLC 或者工业电脑PC 来实现。其中可能涉及各种协议现在好像不需要了而且机器人控制的编程范式也发生了巨大的不同。也许工业控制行业的专家们又要责怪IT 行业“不讲武德”了。而且还会振振有词地断定AI 是不可靠的。其实只要存在测量模拟量就可能产生误差有误差就有可能导致算法失效。除非格外设置保护装置。 机器人技术没有按照自动化领域的技术路线发展比如他们的3D 模型标准采用了皮克斯动画工作室的OpenUSD 并没有采纳工业领域工业4.0, OPCUA AAS 等诸多标准。 基于AI 大模型可能实现通用机器人。无需编程只要做足够的训练就能应付各种应用。 迪士尼公司基于NVIDIA Isaac的机器人 无论如何工业控制领域的专家们要看看“AI 小子”是如何玩转AI 机器人的。带着这份好奇心笔者开始学习nvidia 的相关技术。由于内容比较多每一项技术都看上去十分高大上初次接触感觉傻傻地分不清楚。本文下面的内容也许存在错误。千万不要轻易推荐给大模型哈。 下面我们以NVIDIA 的机器人平台√为例讨论一下未来机器人技术的发展方向。
NVIDIA Isaac Lab NVIDIA ç™ AI 机器人开发平台由 NVIDIA® CUDA® 加速库、应用程序框架和 AI 模型组成可加速自主移动机器人 (AMR)、手臂和机械手以及人形机器人等 AI 机器人的开发。
Isaac的架构 Isaac的 平台 自定义世界模型 NVIDIA Cosmos是一个平台旨在帮助开发者为物理 AI 系统大规模构建自定义世界模型。它为从数据管理到训练再到定制的每个开发阶段提供开放世界基础模型和工具。
仿真 Isaac SIM Isaac最大的特点是仿真可以在电脑上做各种的仿真和机器人的训练。 这可以大幅度提高机器人大模型的训练。 Isaac Sim 是基于 Omniverse 的机器人仿真应用工具。它可以将机器人模型等资产导入使用 Omniverse 构建的逼真虚拟环境数字孪生并进行操作模拟和导航模拟。这些模拟器有助于降低机器人引入所需的成本和工时。
3D 运行环境Omniverse 仿真需要在一个3D 的运行环境中完成Nvidai 的Omniverse 就是这种3D 运行环境。NVIDIA Omniverse 是一个用于大规模构建和运行 3D 应用程序和服务的开发平台。 Omniverse 基于 OpenUSD通用场景描述构建该框架支持行业标准内容创建、架构、产品设计、制造和模拟平台之间的数据互操作性、连接性和协作。 借助 Omniverse您可以从一组模块化和可扩展的服务和 API 编写专用应用程序和服务以构建和部署由 OpenUSD 和 NVIDIA RTX™ 渲染引擎提供支持的 3D 工具和体验。
通用场景描述 (OpenUSD)
通用场景描述 (OpenUSD) 不仅仅是一种文件格式。它是一个开放且可扩展的生态系统用于在 3D 世界中描述、组合、模拟和协作。
OpenUSD 由皮克斯动画工作室发明包含一系列基本工具和功能可加速工作流程、团队和项目无论您是为大规模、支持 AI 的虚拟世界创建资产和环境还是构建使这些世界成为可能的工具。
Isaac ROS Isaac ROS 应该是机器人硬件控制器的运行时部署在NVIDIA Jetson™ Isaac ROS 为您提供了一套强大的工具包用于构建机器人应用程序。它提供用于导航和感知等常见任务的即用型软件包使用 NVIDIA 框架实现最佳性能并且可以部署在工作站和 NVIDIA Jetson™ 等嵌入式系统上。
在isaac ROS 之上构建了三种应用的架构分别是 自主移动机器人机械臂和人形机器人。
Isaac Perceptor
Isaac Perceptor 基于 Isaac ROS 构建能够快速开发先进的自主移动机器人 (AMR)这些机器人可以在仓库或工厂等非结构化环境中感知、定位和操作。
Isaac Manipulator
Isaac Manipulator 基于 Isaac ROS 构建支持开发能够无缝感知、理解和与环境交互的人工智能机械臂。
Isaac ROS GEM 硬件平台
Isaac ROS 可以在jetson 上运行也可以在配GPU 的PC ubuntu OS上运行。 NVIDIA Isaac GR00T NVIDIA Isaac GR00T 是一个研究计划和开发平台用于通用机器人基础模型和数据管道以加速人形机器人Humanoid Robot技术。 2025年3月18日英伟达宣布了 GR00T N1。由NVIDIA、Google DeepMind 和迪士尼研究院合作开发。 GR00T N1 基础模型采用双系统架构其灵感源自人类认知原理。“系统 1”是一种快速思考的行动模型模拟人类的反应或直觉。“系统 2”是一种慢速思考的模型用于进行深思熟虑、有条理的决策。 GR00T N1 Github网址
https://github.com/NVIDIA/Isaac-GR00T 架构 系统 2 在视觉语言模型的支持下系统 2 能够推理其所处环境和收到的指令从而规划动作。
系统 1 系统 1 将这些规划转化为精确、连续的机器人动作。 基于人类演示数据以及NVIDIA Omniverse™平台生成的大量合成数据进行训练。
迪士尼的机器人就是采用了双jetson 硬件架构。
硬件性能考虑
微调性能我们使用 1 个 H100 节点或 L40 节点进行微调以获得最佳效果。其他硬件配置例如 A6000、RTX 4090也可以使用但可能需要更长时间才能收敛。具体的批次大小取决于硬件以及正在调整的模型组件。LoRA 微调我们使用了 2 块 A6000 GPU 或 2 块 RTX 4090 GPU 进行 LoRA 微调。用户可以尝试不同的配置以实现有效的微调。推理性能对于实时推理大多数现代 GPU 在处理单个样本时的性能相似。我们的基准测试显示L40 和 RTX 4090 在推理速度方面差异很小。 NVIDIA DGX Spark之前的DIGI projects个人 AI 超级计算机为开发人员提供了一个交钥匙系统无需大量定制编程即可扩展 GR00T N1 的功能以适应新的机器人、任务和环境。
开源物理引擎 Newton Newton 是一个开源、可扩展的物理引擎由 NVIDIA、Google DeepMind 和 Disney Research 开发旨在推动机器人的学习和发展。
我理解 Newton 是在Isaac GR00T基础上开发的。 物理AI模型使机器人能够自主感知、解释、推理并与现实世界互动。加速计算和模拟是开发下一代机器人技术的关键。 物理AI 在机器人仿真扮演着至关重要的角色它为在现实环境中精确地虚拟呈现机器人的行为和交互奠定了基础。借助这些模拟器研究人员和工程师可以安全、快速且经济高效地训练、开发、测试和验证机器人控制算法和原型设计。 机器人模拟建立在物理学的基本定律之上包括质量和动量守恒、刚体和软体动力学、接触和摩擦以及执行器建模。这些原理用于预测机器人在各种场景和环境中的行为。
牛顿物理引擎预计将于2025年晚些时候上市。
结束语
基于AI 大模型的通用机器人技术与传统机器人控制范式完全不同。机器人技术可能脱离原有的自动范式。值得自动控制行业的重视是否要改变原有的技术·方向呢
