CUGA 团队对比 CUGA、Hermes 与 Deep Agents：同一模型下 AppWorld 完成率 30% 至 81%

报道讲了什么

• CUGA 团队在 AppWorld 的 90 个任务、30 个场景上运行 CUGA、Hermes 和 Deep Agents，三者使用同一模型 GLM-5.3-flash。
• CUGA 通过 73/90 任务，Hermes 42/90，Deep Agents 27/90；场景全通过数为 20、8、2。
• 所有运行使用 Harbor 评测框架，配置公开在 harbor-eval 仓库。

可以做什么

• CUGA 在 AppWorld 配置中启用任务分解、执行前验证和自动反思。
• CodeAct 让模型编写 Python 调用应用 API，代码在受限沙箱中带时限运行。
• 策略层可在用户意图、工具执行和最终回复等环节拦截或要求人工审批。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• 结果来自单一基准的 90 个任务样本，可能不适用于其他任务。
• 三种 harness 的配置并不相同，CUGA 使用了其他两者没有的 AppWorld 配置。
• 运行未使用策略，因此该对比不测量策略执行效果。

使用入口与依据