如何通过专化 SLM 词表将实际应用中的推理成本降低 77%

基于 Qwen3-4B 的葡萄牙语作文评分系统通过 VocabX 重建词表，在基座模型、数据和训练配方不变的情况下，实测推理成本降低 77%。该系统的输出层矩阵从约 15.2 万行缩减至约 6.5 万行，因为解码阶段每个生成 token 都要读取整个 LM head 矩阵，且生成一个 token 的成本是读取一个 token 的 7.4 倍。