Cosmos 3 Edge 官方教程：训练机器人动作策略并在 Jetson Thor 部署

报道讲了什么

• NVIDIA 发布 Cosmos 3 Edge，一个 4B 世界基础模型，可在 Jetson Thor 上端侧运行，用于机器人操作策略。
• 教程展示如何后训练 Cosmos 3 Edge 为 DROID 操作策略，并在 Jetson Thor 上部署和闭环仿真评估。
• 后训练策略在 RoboLab 闭环任务中达到 22.9% 成功率，推理完全在机器人端运行。

可以做什么

• 可在 Jetson AGX Thor 上端侧运行，生成动作块约 1.53 秒，覆盖约 2.13 秒机器人运动，支持连续流式推理。
• 支持多种机器人本体，包括双臂 Franka、UR、WidowX 250、LeRobot SO101。
• 策略服务器使用 OpenPI 协议，客户端发送观测字典，服务器返回动作块，可在机器人本地运行。

怎么使用

1. 下载 Cosmos3-DROID 数据集。
2. 将基础检查点转换为 DCP 格式。
3. 编辑启动脚本，替换模型配置和检查点路径，然后启动后训练。

结果与限制

• 闭环仿真成功率仅 22.9%，表明策略在复杂任务中仍有较大提升空间。
• 后训练需要大量计算资源：64 节点 4×GB200 运行 60K 迭代，约 68 小时（~17.4K GB200 小时）。
• 策略不每次观测后重新规划，而是生成动作块并在每个推理周期后重新规划。

使用入口与依据