微软与 Hugging Face 用 ThinkingBox 数据库终态检查作 RL 奖励后训练 Agent

报道讲了什么

• 作者把 ThinkingBox 的可执行终态检查用作训练奖励，对 Qwen3.8-27B 做 50 步 GRPO 全参数微调。
• 在 507 个基准任务各跑 20 次后，20 次全通过任务从 38 增至 107，pass@1 从 51.70% 升至 60.78%。
• 至少一次通过的任务数小幅下降，作者将其解释为分布收窄而非能力变广。

可以做什么

• 奖励来自任务终态的可执行检查，任何产生正确最终状态的轨迹都算通过，不依赖具体工具调用路径。
• 少数无法从数据库状态判定的窄要求，可调用配置的 LLM 裁判回答二元评分问题。
• 用基础策略多次探测估计任务难度，保留可能产生混合奖励的任务进入固定训练池。

怎么使用

1. 并排克隆 thinkingbox、thinkingbox-data 与 thinkingbox-training 三个仓库并检出指定提交。
2. 用 uv 创建 Python 3.12 环境并安装固定依赖与 Verl 补丁版本。
3. 运行数据准备脚本，聚合策略探测、应用难度过滤与基准排除，生成 train.yaml 和 test.yaml。
4. 先做 dry-run 确认退出码为零且不分配 GPU，再在 3 节点 8 卡拓扑上启动 Ray 与训练。
5. 合并检查点后用 vLLM 服务，并通过 OpenEnv 代理按 507 任务 × 20 次跑完整评测。

结果与限制

• 基准与训练池共享 ThinkingBox 框架、模拟用户机制和部分工具，限制了迁移结论的范围。
• 公开样例任务列表只用于验证接口，并非报告结果所用的 187 任务私有训练池。
• 成本数字是比较用的服务指数，不含训练与策略探测成本，也不是云账单。

使用入口与依据