基于 NVIDIA Nemotron 开源模型构建万圣节互动鬼屋智能体
NVIDIA 员工利用 Nemotron Voice Agent 框架及系列开源模型制作了万圣节交互投影装置 MonsterHouse。
推荐理由:文章拆解了端到端语音与面部驱动智能体的硬件与模型组合方案,展示了低延迟本地交互的多模态工程落地细节。
技术方向
文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
13 条精选近 30 天 13 条共收录 25 条
NVIDIA 员工利用 Nemotron Voice Agent 框架及系列开源模型制作了万圣节交互投影装置 MonsterHouse。
推荐理由:文章拆解了端到端语音与面部驱动智能体的硬件与模型组合方案,展示了低延迟本地交互的多模态工程落地细节。
Mistral AI 正式开源 1 万亿参数原生多模态旗舰模型 Mistral Large 4(Le Chonk)的模型权重。该版本强化了强化学习训练,在 FrontierCode 2.0 和 Terminal-Bench 4.0 等编码与终端基准测试中位居开源模型前列,并新增 Low、Medium、High 三种推理模式以平衡性能与推理成本。
推荐理由:原文提供了各推理模式与基准表现,开发者可据此评估其在高性价比编程智能体中的落地可行性。
Liquid AI 推出新一代 Liquid Foundation Models(LFM3)系列开源权重,基于 LFM3-1.7B-Base 统一底座衍生出覆盖文本、视觉、音频、全模态和决策任务的 6 款 2B 级模型。
推荐理由:该系列将多模态能力统一到2B级轻量底座并支持单卡微调,适合作为端侧智能体与具身控制的专用模型参考。
Property Finder 联合 AWS 团队发现其 96.8% 的视觉评测标签源自原模型输出而导致循环偏见,通过引入领域专家独立标注并结合提示词优化,在 Amazon Bedrock 上将房产图像评估模型切换为 Llama 4 Maverick 17B Instruct。
推荐理由:原文揭示了用旧模型输出做评测基准所导致的循环偏见,为视觉模型选型和提示词工程提供了可迁移的落地流程。
Google DeepMind 发布新一代交互式世界模型 Genie 4,支持实时通过键鼠和自然语言指令生成并调整具备物理规律的仿真环境。该模型原生支持同步生成环境音效与角色交互对话,并引入 Gemini 模型作为引导 Agent 维持场景的多步推理与因果连贯性。
推荐理由:该模型结合语言模型推理与实时像素生成,展示了如何通过自然语言与键控交互驱动高保真物理仿真与多模态环境生成。
Google Research 在 IDWeek 2026 上分享结核病筛查 AI 从研究走向临床部署的历程,依托 MedSigLIP 和 MedGemma 等开放基础模型支持各地自建方案。
推荐理由:Google Research 复盘结核病筛查 AI 从论文走到 CE 认证与井下部署的完整路径,可供医疗 AI 落地参考。
Google DeepMind 与 Google Research 联合 WRI、IIASA 发布全球森林类型地图 ForTy 2020,按 10 米分辨率将每块土地归入原始林、自然再生林、人工种植林、商品林、树作物与农林复合、其他土地六类,并对齐欧盟零毁林法规的 2020 年基准。
推荐理由:这张 10 米分辨率地图区分六类森林与土地利用,并提供 2017 至 2025 年逐年变化,可作为欧盟零毁林法规的核查参考。
NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,并在 GTC Berlin 把 Cosmos Framework 的训练优化技能扩展到更多开放模型,同时发布 Cosmos 3。
推荐理由:原文列出数据工厂蓝图、训练框架与推理加速的完整链路,读者可据此判断世界模型的工程化门槛变化。
Google Research 发布研究博客,介绍用 VERID 框架和适配体、蛋白质设计两类闭环实验,把 AI 智能体从干实验(in-silico)设计推进到湿实验室执行。
推荐理由:Google Research 用三个具体项目说明了智能体如何接入湿实验室的物理执行与闭环实验,其中包含多轮失败模式的分析。
Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
推荐理由:官方给出 Argon 在 ERQA 物理推理基准的得分,并用机器人控制、Real2Sim 等多组提示词展示能力边界。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。
推荐理由:官方给出多领域实测与定价细节,可据此判断新模型在编码、科研和企业工作流中的具体位置。
Google DeepMind 发布 EmbeddingGemma 2,这是一个可原生映射文本、图像、音频和视频到统一嵌入空间的多模态嵌入模型,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。
推荐理由:EmbeddingGemma 2 把文本、图像、音频和视频嵌入统一到 7.4 亿参数的端侧模型,给出各模态参数拆分和内存占用,便于评估私有化检索方案。
Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 试用预览 API,权重将于本月底放出。
推荐理由:官方给出 1 万亿参数、520 亿激活的开源权重路线与多项基准对手对比,便于判断开放权重阵营的位置。