VocabX 如何通过专用化 SLM 词表将推理成本降低 77%

报道讲了什么

• 作者用 VocabX 重建生产环境作文评分器的词表，保持基座模型、数据和训练配方不变。
• 训练七个仅词表不同的版本，在 RTX 5090 与 vLLM 上跑同一批 500 个请求并按实测运行时间计费。
• 在五个公开领域和三个模型家族的十五种组合中，VocabX 压缩幅度均高于最强参考方法。

可以做什么

• 按字段成本加权选择 token，响应中省下的 token 按输入 token 的 7.4 倍计价。
• 在子词层重建切分，同时把重复长片段合并为单个宏 token。
• 用五个挖掘器分别搜索长词、整行、表达、完整句子和带标点结构等重复片段。

怎么使用

原文没有提供可复现的操作步骤，请从下方原文或官方说明确认使用方法。

结果与限制

• 把评分等级与 JSON 结构融合为单个宏 token 虽更紧凑，但质量低于生产版本。
• 生成 token 与读取 token 的成本比随硬件、批大小和上下文长度变化，7.4 倍仅对应本次测量。
• VocabX 不提升模型能力，只减少为不需要逐字写出的文本付费。

使用入口与依据