跳到正文
10月28日周三
10月22日周四
  1. Hugging Face Blog42

    如何通过专化 SLM 词表将实际应用中的推理成本降低 77%

    基于 Qwen3-4B 的葡萄牙语作文评分系统通过 VocabX 重建词表,在基座模型、数据和训练配方不变的情况下,实测推理成本降低 77%。该系统的输出层矩阵从约 15.2 万行缩减至约 6.5 万行,因为解码阶段每个生成 token 都要读取整个 LM head 矩阵,且生成一个 token 的成本是读取一个 token 的 7.4 倍。