英伟达在CoRL发布开源世界动作模型GR00T 2与Isaac Lab 3.0:单次演示平均成功率71%
英伟达于11月9日在奥斯汀举行的机器人学习会议CoRL上,发布基于Cosmos的开源前沿世界动作模型GR00T 2、开源机器人学习框架Isaac Lab 3.0,以及新的工业评测。官方称GR00T 2在50项任务中一次演示的平均成功率为71%,五次演示升至95%;Isaac Lab 3.0搭配Newton物理引擎,训练吞吐最高约为上代搭配PhysX时的2.5倍。

导读
2026年11月9日,英伟达博客作者 Sasa Docca 发文称,在于得克萨斯州奥斯汀举行的机器人学习会议(CoRL)上,公司与合作伙伴发布包括世界动作模型、仿真工具、评测和智能体工作流在内的新开源机器人技术。头条三项是:GR00T 2、Isaac Lab 3.0,以及新的开放基准。
仿真长期被用来训练机器人行走、滚动和跳跃;文章称,它现在也帮助研究者教授需要对齐齿轮、连接线缆和组装小型部件的精细操作。与会的另一条主线是具身智能体机器人(agentic robotics),即引入前沿智能体来生成可解释的实体机器人代码。英伟达有两篇论文入围 CoRL 最佳论文奖六强:GRAIL(用世界模型生成人形运动操作的数字生成流水线)和 RoboTTT(把视觉运动上下文规模扩大三个数量级、同时不增加推理延迟的机器人模型与训练方法)。
GR00T 2:开源世界动作模型
GR00T 2 被定义为建立在 NVIDIA Cosmos 上的开源前沿世界动作模型,训练数据包括多样的机器人与人类数据,其中有 10万小时 英伟达开源的人类第一人称数据。官方列出的要点包括:
- 开箱表现:在评估的 50 项任务中,有 40 项至少完成过一次,且无需针对任务的演示。
- 技能迁移:从人类演示中学习,并在不同机器人本体之间迁移技能,而无需机器人演示。
- 少样本泛化:在每项任务仅一次演示时,50 项任务的平均成功率为 71%;五次演示时升至 95%。
- 智能体控制:智能体可通过 GR00T 2 的 API 和支持工具按序运行技能,并从错误中恢复。
官方称,GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 等基准的视觉—语言—动作与世界动作模型类别中位列前三,并有多项榜首。应用侧,Nexuni 正在测试用它处理洗衣,富士康将其用于服务器制造的工厂自动化,西门子正在评估工业用例。MicroAGI 通过强化学习对 GR00T 2 做后训练,用 YAM 机械臂完成以太网线插拔,其智能体方法会用 Isaac Lab 3.0 和 Newton 自动创建并校准仿真环境。
在数据工具方面,英伟达还推出把人类视频变成仿真机器人演示的开源 Video to Data 工作流,并介绍在 CoRL 展示的开源模型 EgoHand:它重建三维手部运动,训练数据来自 Noitom Robotics,发布两周内在 Hugging Face 上的下载量超过 4万。
Isaac Lab 3.0 与 Newton 物理
NVIDIA Isaac Lab 是开源机器人学习框架。最新的 3.0 版本允许研究者用智能体快速搭建带仿真资产的训练环境,在 NVIDIA PhysX 与 Newton 物理求解器之间切换,为基于感知的训练选择渲染器,并对 GR00T 这类基础模型应用新的强化学习后训练库。
与开源物理引擎 Newton 的更紧集成,使 Isaac Lab 能够模拟线缆、布料等可变形物体,以及具有许多相互作用关节的灵巧手。官方称,在一项基于视觉的灵巧操作基准上,Isaac Lab 3.0 搭配 Newton 的训练吞吐最高约为 Isaac Lab 2.3 搭配 PhysX 时的 2.5倍。Skild AI 在 CoRL 上宣布了建立在 Newton 上的刚性体求解器 STEEL;Flexion、FieldAI、Dyna Robotics、Walden Robotics 和 Dexmate 等也展示了各自在 Isaac Lab / Isaac Sim / Newton 上的用法。
在 Isaac Lab 中构建的 AlphaNIST 用单一策略学习 NIST 装配任务板上的全部 20 项任务,只靠是否成功的二进制信号操作毫米级零件。它的训练成功率超过 98%,而分任务策略为 81%,GPU 时间大约少 39倍。背后是华盛顿大学与英伟达提出的 Success-Guided Sampling(SGS),把练习集中在策略成功率大约一半的任务上;借助 SGS,机器人训练可以扩展到超过一百万个并行环境。
新基准与智能体编程
Isaac Lab-Arena 是用于规模化策略评估的开源框架,可在数千种变化上并行运行策略。其最新版本 0.4 的开发者预览在 CoRL 发布。两个新的开放基准 DexBench 和 VABAR 被描述为最早一批用 Isaac Lab-Arena 和 Newton 衡量工业任务中灵巧性与适应性的基准。
DexBench 由 RLWRLD 与英伟达合作开发,包含零售、物流、制造和酒店四个场景中的 15 项任务,测试物体、空间和物理变化下的泛化。VABAR(Variational Automation Benchmark for Agentic Robotics)来自加州大学伯克利分校与英伟达,覆盖六项工业任务,每项都有标准化变化、难度分级和成功指标。
在把单项技能连成机器人程序方面,伯克利的 Graph-as-Policy(GaP)框架让智能体在英伟达 Isaac 开源仿真中测试程序,并根据失败加以改进。Ambi Robotics、Bosch Research 和西门子都在探索将 GaP 用于工业自动化工作流。伯克利机器人教授 Ken Goldberg 把具身智能体机器人称作“自1995年互联网以来最令人兴奋的技术发展”。
文中点名的其他合作方还包括 Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和华盛顿大学等。
来源
NVIDIA Blog,Sasa Docca,Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation,2026年11月9日。