VocabX 预览词表特化降本 77%

Dharma-AI 在 Hugging Face 博客预览了尚未正式发表的 VocabX 论文：该方法按每个 token 的成本而非词频重建小语言模型词表，在不更换基础模型的情况下，其基于 Qwen3-4B 的葡萄牙语作文评分器实测推理成本下降 77.0%，平均响应从 350 token 降到 101 token。 方法上，VocabX 同时重建子词切分，并把重复长片段合并为宏 token，使输出层从约 152,000 行减到约 65。Dharma-AI 称这些数字来自仍在评审中的论文当前版本，正式发表前可能变化，完整方法、各实验表格和被放弃的干预方案将在即将发布的论文中给出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。