开源基准 CloudOpsBench 显示推理是 AI 云运维的最大瓶颈

报道讲了什么

• 密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，含 45 项 AWS 上的 DevOps 任务。
• 表现最好的 Claude Fable 5.1 完成 60%，GPT-6 Astra 完成 53%。
• 团队将失败主要归因于推理，约 80% 的失败是误判范围、漏查服务或过早停止。

可以做什么

• 基准覆盖修复服务、删除资源、限制访问权限、推送更新和下线项目等云运维任务。
• 所有任务在真实 AWS 云和模拟器中以相同方式运行。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• 没有模型完成全部任务，最好成绩为 60%。
• 约 20% 的错误是错误操作，部分对基础设施造成不可逆后果。
• 当前仅覆盖 AWS，GCP、Azure 和 OCI 扩展仍在计划中。

使用入口与依据