跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

1 条精选近 30 天 0 条共收录 3 条

更新

评测基准的精选

8月20日周四第 1–1 条
  1. NVIDIA 官方设计与仿真资料

    NVIDIA SkillEvaluator:对比安装 Skill 前后的 Agent 表现

    NVIDIA 介绍开源 SkillEvaluator:先检查技能结构与安全、识别重复指导,再在隔离任务中对比安装与未安装 Skill 的 Agent 表现。文章说明对照使用相同提示、模型、输入和评分条件,并分别在两个执行框架上评估。公布的 Skill Lift 是分数差值,不是百分比;多数任务只有一次尝试,未报告置信区间。这些是 NVIDIA 自述结果,FLABS 未复现,也不据此给工具榜打分。

    推荐理由:提供生产 Agent 技能评测的对照方法,并明确样本次数、分数单位与结果不确定性。