VocabX 如何通过专用化 SLM 词表将推理成本降低 77%
Dharma-AI 在 Hugging Face 博客预览即将发布的 VocabX 论文，提出按 token 成本而非词频重建小语言模型词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上实测推理成本下降 77.0%，平均响应从 350 token 降到 101 token。方法同时重建子词切分并把重复长片段合并为宏 token，输出层从约 152,000 行减到约 65。
Dharma-AI 在 Hugging Face 博客预览即将发布的 VocabX 论文，提出按 token 成本而非词频重建小语言模型词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上实测推理成本下降 77.0%，平均响应从 350 token 降到 101 token。方法同时重建子词切分并把重复长片段合并为宏 token，输出层从约 152,000 行减到约 65。