如何通过专化 SLM 词表将实际应用中的推理成本降低 77%
基于 Qwen3-4B 的葡萄牙语作文评分系统通过 VocabX 重建词表，在基座模型、数据和训练配方不变的情况下，实测推理成本降低 77%。该系统的输出层矩阵从约 15.2 万行缩减至约 6.5 万行，因为解码阶段每个生成 token 都要读取整个 LM head 矩阵，且生成一个 token 的成本是读取一个 token 的 7.4 倍。
#部署/工程
Hugging Face BlogAI 评分4242
Microsoft Research精选AI 评分6767 微软研究院推出零知识证明虚拟机 Magnetar
微软研究院发布零知识证明虚拟机 Magnetar，可证明用 Rust、Go、C 编写的程序，在 15 个基准程序上平均比现有最快的同类 zkVM 快 10 至 39 倍。它基于 RISC-V 架构，开发者无需手写密码学电路，安全性仅依赖 SHA-256、SHA-3 等标准哈希函数，不依赖椭圆曲线、格或可信设置。其证明校验时间约 12 毫秒，笔记本上每秒可证明 7.2 至 8.7 百万条处理器指令。
推荐理由：微软研究院的新零知识证明虚拟机宣称比现有最快同类的 zkVM 快 10 至 39 倍，并仅依赖标准哈希函数，读者可借此理解这条技术路线的取舍。
Berkeley AI ResearchAI 评分3535 Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法，用于在大规模场景下识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性，把高维交互搜索转化为稀疏恢复问题，在数千特征下仍保持高 faithfulness；ProxySPEX 借助层级结构，仅用约 10x 更少的消融即可达到 SPEX 的性能。