Granite Switch 4.1.1:像更新软件一样更新模型
Granite Switch 4.1.1 补丁版本发布,完全向后兼容 4.1 且无需迁移,支持在保持基础模型不变的情况下直接更新 adapter。该版本更新了支持 10 种语言及原生标点大小写的 Granite Speech ASR 模型,并提升了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现。
Granite Switch 4.1.1 补丁版本发布,完全向后兼容 4.1 且无需迁移,支持在保持基础模型不变的情况下直接更新 adapter。该版本更新了支持 10 种语言及原生标点大小写的 Granite Speech ASR 模型,并提升了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现。
NVIDIA 开源语音模型 Nemotron 3.5 Transcribe,单一模型集成了语音转录、31 种语言互译、最多 8 人的说话人识别以及录音内容问答能力。
Nvidia 发布开源权重转录模型 Nemotron 3.5 Transcribe 及 Granary v2 语音数据集。该模型拥有 30B 参数且可在单芯片上运行,支持最多 40 种语言转录、最长 1 小时音频以及最多 8 位说话人识别,但仅适用于录制音频而非实时流媒体。
NVIDIA 开源语音模型 Nemotron 3.5 Transcribe 及配套数据管线 Granary v2。该模型将多语言转写、说话人日志、翻译与音频问答整合入单一检查点,总参数量 30B 且每 token 仅激活约 4B,支持 40 种语言转写和最多 8 位说话人区分。
推荐理由:模型将转写、说话人识别和问答整合进单一检查点,并配套开源了大规模数据清洗流程与微调方案。
Block 研究实验室发布全双工语音模型 Dessa,可边说话边聆听,并带有笑声、停顿和哭腔等表达。该模型完全用人类语音训练,可在 MacBook M4 Max 或更强的消费级电脑上本地运行,目前未公开开放,Block 正招募安全研究人员测试。Block 称现有语音模型因文本环节导致情感不自然,而 Dessa 将情感内建于模型之中,其知识来自对话数据。
Jack Dorsey 的 Block 发布 AI 模型 Dessa,称其完全基于人类对话数据从零训练,而非从文本转语音。Dessa 团队称它是真正的语音到语音模型,可在 MacBook Pro M4 Max 或更高配置上本地运行,并将向一小批 AI 安全研究者开放早期访问。
IBM 更新 Granite Speech 系列三款模型,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
Mistral 发布 Voxtral 3 系列语音模型和基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式管线,单轮响应在 1 秒内。
推荐理由:Mistral 一次性发布语音转写、语音合成和语音智能体 SDK 这整套语音栈,并给出价格与基准对比,读者可据此评估自建语音 Agent 的成本与替代方案。