Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断研究想法新颖性是否可靠

报道讲了什么

• Ai2 发布关于 LLM 能否可靠评估科研想法新颖性的研究，并公开基准、数据和代码。
• 研究基于 ICLR 2026 同行评审挖掘原创性信号，构建高新颖性 154 条与较低新颖性 145 条两个人类想法池。
• 另构建 Human+Generated 设置，将 154 条人类想法与 154 条简单 LLM 生成想法配对。

可以做什么

• 基准可测试评审模型能否区分有较强新颖性证据的人类想法与新颖性较弱的人类想法。
• 支持逐点绝对评分和成对比较两种新颖性判断方式。
• 提供自动化流水线，研究者可据此从新的同行评审中构建评测集。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• Human+Generated 中生成想法被假定不如人类想法新颖，属于弱标签而非逐条验证的判断。
• 带实时检索和高推理预算的智能体评审 macro-F1 为 0.78，低于 Claude Opus 4.6 的 0.89，且单次决策成本约高 10 倍。
• 专用评估系统 Idea Novelty Checker 与 AI Scientist 的 macro-F1 分别为 0.642 和 0.772，均低于简单提示基线的 0.854。

使用入口与依据