StateBench：测试语言模型如何在长文档中追踪状态变化

报道讲了什么

• Allen AI 发布 StateBench 基准，用于评估语言模型在长文档中追踪实体状态变化的能力。
• 基准按变量赋值操作复杂度划分四个难度层级，并从同一序列派生四个可比问题。
• 团队测试了四个前沿模型，要求其读取赋值序列并输出每个变量的最终值。

可以做什么

• 可评估模型在不可变赋值、按值重新赋值、自引用更新和按引用赋值四类任务上的表现。
• 可比较 Transformer、混合架构与 Gated DeltaNet 在长序列上的状态追踪泛化差异。
• 同一底层问题以不同格式呈现，用于检验格式对得分的影响。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• 基准假设变量数量固定，尚未覆盖真实任务中随时间出现新实体的情形。
• Gated DeltaNet 受限记忆更新版本在层级中的确切位置仍未确定。
• 预训练模型训练时上下文未超过 64,000 tokens，多数测试输入远超该长度。

使用入口与依据