基于 NVIDIA Nemotron 开源模型构建万圣节互动鬼屋智能体
NVIDIA 员工利用 Nemotron Voice Agent 框架及系列开源模型制作了万圣节交互投影装置 MonsterHouse。
推荐理由:文章拆解了端到端语音与面部驱动智能体的硬件与模型组合方案,展示了低延迟本地交互的多模态工程落地细节。
NVIDIA 员工利用 Nemotron Voice Agent 框架及系列开源模型制作了万圣节交互投影装置 MonsterHouse。
推荐理由:文章拆解了端到端语音与面部驱动智能体的硬件与模型组合方案,展示了低延迟本地交互的多模态工程落地细节。
Rivian 在第三季度投资者演示中宣布,将车载 AI 语音助手技术授权给大众汽车集团,作为双方 58 亿美元合资合作的进一步拓展。该 AI 助手基于 Rivian 自研的智能体框架开发,此前已推送至旗下 R1 与 R2 系列车型,未来有望在大众低成本电动车 ID EVERY1 上搭载。
以 AI 会议记录工具闻名的 Granola 推出语音听写功能,直接与 Wispr 展开竞争。Mac 用户按 Fn 键即可在任意应用中通过语音输入、整理并排版文本,该功能免费且不限字数,后续将上线 iOS 和 Windows。当前消费级语音应用正从单一工具向同时具备会议记录与听写能力的多功能产品聚合。
Deepgram 宣布收购开源语音与视频 AI 编排框架 Pipecat 的开发商 Daily,未披露收购金额,并承诺将 Pipecat 永久保持开源与中立。双方联合推出了用于语音智能体的开放协议 Real-Time Context Standard(RCS),以统一音频上下文元数据与大语言模型的交互指导。
Granite Switch 4.1.1 补丁版本发布,完全向后兼容 4.1 且无需迁移,支持在保持基础模型不变的情况下直接更新 adapter。该版本更新了支持 10 种语言及原生标点大小写的 Granite Speech ASR 模型,并提升了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现。
Hugging Face 推出 AnySpeechRecognizer 与 AnyDecisionModel 两款开源 Swift 软件包,支持在苹果平台上本地下载并运行开源语音与决策模型。
推荐理由:为苹果平台开发者补齐了开源语音识别与类型化概率决策接口,可直接在端侧替换原生框架并结合量化模型。
NVIDIA 开源语音模型 Nemotron 3.5 Transcribe,单一模型集成了语音转录、31 种语言互译、最多 8 人的说话人识别以及录音内容问答能力。
Nvidia 发布开源权重转录模型 Nemotron 3.5 Transcribe 及 Granary v2 语音数据集。该模型拥有 30B 参数且可在单芯片上运行,支持最多 40 种语言转录、最长 1 小时音频以及最多 8 位说话人识别,但仅适用于录制音频而非实时流媒体。
NVIDIA 开源语音模型 Nemotron 3.5 Transcribe 及配套数据管线 Granary v2。该模型将多语言转写、说话人日志、翻译与音频问答整合入单一检查点,总参数量 30B 且每 token 仅激活约 4B,支持 40 种语言转写和最多 8 位说话人区分。
推荐理由:模型将转写、说话人识别和问答整合进单一检查点,并配套开源了大规模数据清洗流程与微调方案。
NVIDIA 宣布搭载 Blackwell GPU 与 Grace CPU 超级芯片的 RTX Spark 笔记本正式发售,并同步推出多项端侧 AI 与智能体功能更新。
推荐理由:硬件整合高容量统一内存与算力调度控制,让端侧同时运行前台应用与后台智能体成为可行方案。
Retell 采用 OpenAI 模型为其每月 1 亿次通话提供支持。其中,GPT-6 Astra 在 Retell 的语音智能体基准测试中登顶,同时 Codex 助力其团队实现人均 160 万美元的年化营收运行率。
Apple 发布 iOS 和 macOS 27.2,带来新的 Siri AI 功能,并更新了 Music 应用的图标。新版本还支持限制 Siri 可以直接访问哪些应用。
Block 研究实验室发布全双工语音模型 Dessa,可边说话边聆听,并带有笑声、停顿和哭腔等表达。该模型完全用人类语音训练,可在 MacBook M4 Max 或更强的消费级电脑上本地运行,目前未公开开放,Block 正招募安全研究人员测试。Block 称现有语音模型因文本环节导致情感不自然,而 Dessa 将情感内建于模型之中,其知识来自对话数据。
Jack Dorsey 的 Block 发布 AI 模型 Dessa,称其完全基于人类对话数据从零训练,而非从文本转语音。Dessa 团队称它是真正的语音到语音模型,可在 MacBook Pro M4 Max 或更高配置上本地运行,并将向一小批 AI 安全研究者开放早期访问。
Amazon Polly 对 Generative 引擎完成升级并已在生产环境正式可用,语音输出更自然准确且延迟更低,新增 14 种语音、覆盖 9 个地区,首次正式支持印地语和芬兰语。
IBM 更新 Granite Speech 系列三款模型,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
Mistral 发布 Voxtral 3 系列语音模型和基于 LiveKit 的语音智能体 SDK,把听、推理、工具调用和说合成一条实时流式管线,单轮响应在 1 秒内。
推荐理由:Mistral 一次性发布语音转写、语音合成和语音智能体 SDK 这整套语音栈,并给出价格与基准对比,读者可据此评估自建语音 Agent 的成本与替代方案。