The Decoder AI in practice· Manuel Uth·· 15 小时前AI 评分58
SemiAnalysis 发布 GDPx 基准，无 AI 智能体得分超过 12%
No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark
先看结论
原文显示该基准用于衡量智能体在模拟专业软件与数据环境中的任务完成度，最高 12% 说明现有模型在金融、法律等任务上仍难以完整交付。
报道讲了什么
- SemiAnalysis 发布 GDPx 基准，让智能体在模拟工作环境中运行最多八小时。
- 基准包含 11 个领域的 206 项任务，刻意排除行政与保险领域。
- SemiAnalysis 计划每三到六个月更新该基准。
可以做什么
- 智能体需操作 Siemens NX 等专业软件、检索含数千文件的数据室或攻击在线企业系统。
- 评分按单项要求达成比例计算，而非要求完整完成任务。
怎么使用
原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。
结果与限制
- 法律与硬件设计等领域由语言模型依据评分细则打分，外部无法完全核验难度与评分质量。
- 每个模型运行在各自厂商的智能体软件中，工具能力较弱的厂商处于劣势。
- 部分子领域仅约十项任务，结果波动较大。
使用入口与依据
来源：The Decoder AI in practice · the-decoder.com
事件后续
查看事件全部正在读取事件进展…