CWE-bench v2 发布：100 个公开安全修复任务覆盖 91 类 CWE

报道讲了什么

• Collinear AI 公开 CWE-bench v2 的 100 个任务，覆盖 91 种 CWE。
• 每个任务由智能体拿到真实开源仓库检出和简短指令，需修复安全弱点且不破坏原有功能。
• 另设 held-out 集用于跟踪模型未见过的任务进展，需邮件联系获取评估。

可以做什么

• 公开集、评分器和 harness 均开放，可自行运行模型并复现分数。
• 任务带 rl-environment 标签，同一环境与验证器可为训练防御型智能体提供奖励。
• 每个任务是自包含的 Harbor 任务，含 Docker 环境、指令和确定性验证器，并附带 registry.json。

怎么使用

1. 先在数据集页面接受访问条件，因为数据集是 gated 的。
2. Harbor 用 git 拉取任务，需先把 HF token 存入 git 凭据助手。
3. 用 harbor run 指定仓库、数据集版本、智能体与模型运行，-k 4 表示每个任务 4 次尝试。

结果与限制

• 领先模型在每次尝试中仍失败该集合的 19%，长尾任务远未解决。
• held-out 集不公开，需联系指定邮箱才能评估。
• 成本对比中 DeepSeek V4.1 Flash 以每次 rollout 0.04 美元达到 57.0% pass@1，Opus 与 Gemini 成本更高。

使用入口与依据