NVIDIA 发布 Cosmos 3 四个开放权重模型，用于交互式世界仿真

报道讲了什么

• NVIDIA 为 Cosmos 3 模型家族新增四个开放权重检查点，覆盖驾驶场景生成与机器人动作预测。
• 四个模型均基于 Cosmos 3 Nano 后训练，采用 OpenMDW1.1 许可，允许商用与非商用。

可以做什么

• Transfer-Auto 可生成最多 11 路相机视角的同步视频，含鱼眼，并支持 RGB 与 LiDAR 联合生成。
• Sim-Auto 是因果蒸馏的流式变体，用少量去噪步生成连续小段相机视频与 LiDAR。
• Sim-Transfer 用仿真器的空间控制与文本提示渲染 RGB 观测，物理与真值状态仍由仿真器负责。
• Sim-Bimanual 支持 YAM 与 AgiBot 两种具身的双臂交互仿真，可由策略或手柄控制。

怎么使用

1. 先在自己的驾驶数据上对 Transfer-Auto 做后训练，以适配相机布局、LiDAR 配置与目标环境。
2. 对新传感器或领域，先适配 Transfer-Auto，再经因果训练与蒸馏得到 Sim-Auto。
3. 训练前按环境检查、样本验证与训练重启测试的顺序执行，再开始较长训练。

结果与限制

• 闭环交互需要仿真运行时与 WSM 渲染器来根据驾驶输入更新控制。
• 已发布的 vLLM-Omni 配置在单张 GB200 上测试，原文说明这不是最低显存规格。
• 短时间成功运行只验证可执行，不代表模型收敛，质量需在留出片段上评估。

使用入口与依据