研究：花哨的编码智能体框架更贵但并未更好

报道讲了什么

• 作者用三个框架的正式版本运行五个模型，测试 SWE-bench Verified 的 45 个最难任务和 447 个任务池。
• 早期联网测试中 71% 的 Deepseek 和 Qwen 尝试直接从 GitHub 取回正确修复，研究者因此关闭联网。
• 同一设置重跑的结果波动可达六分，任务级结果翻转率与换框架相同。

可以做什么

• 在 447 任务池上，Claude Code 与 mini-SWE-agent 对两个测试模型的差距不到两分，五分带内统计等价。
• 三个框架每次调用返回的文本量相近，成本差异主要来自系统提示与工具描述。
• 关闭思考后，mini-SWE-agent 配 Qwen3.6 下降十一分，Claude Code 与 OpenCode 仍在噪声范围内。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• OpenCode 在 447 任务池上落后最多九分，约一半源于输出上限时未提示模型继续。
• 系统提示规模决定基线成本，Claude Code 约 16,600 token，OpenCode 约 7,000，mini-SWE-agent 不足 1,000。
• 研究主要依赖一个基准，测试网格过小，无法解释推理依赖为何随模型与框架组合变化。

使用入口与依据