Hugging Face Blog·· 3 小时前精选AI 评分71
VocabX 如何为小模型定制词表，在真实应用中把推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 在 Hugging Face 博客中介绍了即将发布的 VocabX 论文：通过按 token 成本而非词频重建词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77%，同时 bench 分数从 0.703 升至 0.810。
推荐理由
作者给出了从 tokenizer 入手降低推理成本的具体方法与实测数据，其中区分输入与输出 token 成本这一思路可以迁移到其他领域模型。
来源：Hugging Face Blog · huggingface.co