Microsoft 研究副总裁 Jennifer Neville 谈 AI 的失败与评估能教会我们什么
Microsoft 研究合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统基准的性能边界,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她同时分享了使用当前 AI 系统的实用建议,并强调当结果出乎预期时应仔细检查数据。
Microsoft 研究合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统基准的性能边界,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她同时分享了使用当前 AI 系统的实用建议,并强调当结果出乎预期时应仔细检查数据。
Google Research 以 Google Earth AI 的 Population Dynamics Foundation Model(PDFM)为概念验证,展示预训练位置嵌入可即插即用地接入现有流行病学模型,无需任务特定微调。
Mistral 发布 Mistral Large 4 公开预览,可通过 Mistral Studio 试用预览 API,权重将于本月底放出。
推荐理由:官方给出 1 万亿参数、520 亿激活的开源权重路线与多项基准对手对比,便于判断开放权重阵营的位置。
GitHub 发布 AI 代码审查离线基准 ReviewBench,包含 219 个公开 pull request、覆盖 19 种语言,并配有公开数据集和排行榜。
推荐理由:GitHub 公布 ReviewBench 的构建方法与 96.6% 专家标注一致率,并给出离线结果与线上 A/B 实验的对应案例。
Import AI 475 期讨论了群体(swarm)作为新型推理扩展方式、Google DeepMind 为合成生物设计的 SynthID Bio 水印方法,以及 AI 科学经济相关话题。
GitHub 提出开发者应强化三项技能:学会指挥 AI 智能体而非只使用它,不轻信 AI 的第一个答案,以及把省下的实现时间用于解决更大的问题。文中提到 GitHub Copilot 内置的 Rubber Duck agent 会用第二个模型来评审方案、代码和测试。开发者仍需负责最终结果,通过定义问题、审查产出和做出技术决策来把控质量。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,后续将面向开发者、企业和消费者推出,起步定价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:原文给出了模型在编码迁移、网络安全和企业知识工作上的具体内部用例与基准成绩,并说明了分阶段开放的节奏。
微软研究院实习生开发了一套端到端机器学习系统,为美国本土66,935座变电站提供提前30-60分钟的空间天气风险预报。该系统结合L1太阳风观测、AE与Dst指数预报、地质电导率及电网数据,在2020-2026年评估期内识别出近80%的重大空间天气事件。GIC风险阶段对≥10 nT/min事件的检测率为76.5%,对≥50 nT/min的极端事件为64.1%。
Mistral 在慕尼黑设立德国中心,组建专注 Physics AI 与工业 AI 的研究团队,并配备直接服务企业客户的应用工程师。Mistral 计划到 2030 年建成 1 吉瓦欧洲算力,其开放权重模型可在客户自有基础设施上运行;慕尼黑团队正与 BMW 合作碰撞仿真、与 Siemens Energy 合作工业 AI 应用。
Import AI 474 期聚焦 Michael Levin 提出的「Platonic mindspace」假说,认为心智是来自非物理模式空间的模式,身体与机器只是其接口。同期内容还涉及太空中的 TPU,以及智谱(Zhipu)启动的外层 RSI 循环。
GitHub Copilot app 介绍了用 canvases 构建自定义工作流的方法:在 agent 会话中输入 /create-canvas,再用自然语言描述工作流、自己可做的操作和 agent 可做的操作,agent 就会生成界面并打开在右侧面板。
RAND 发布长文提出美国应以"行动自由"战略应对通往超级智能的不确定路径,核心是保留选项而非押注单一方案,包括构建人机生态、AI 安全架构与改造国家安全机构。该文归纳共存、拒止、加速三大家族共七种原型战略,并列出危险临近程度、共存可行性等五项关键不确定性。文章还提及研究者在小鼠颅内培育含人脑组织的实验。
Mistral 宣布与 Mozilla 合作,Mozilla 的 AI 浏览助手 Firefox Smart Window(beta)改由 Mistral 模型驱动,将先服务法国和北美用户,英国和德国预计今年晚些时候跟进。
Mistral 与 Cloudera 宣布合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还可在受控环境中用专有数据训练自有模型,数据与由此产生的智能均归企业所有。Cloudera 平台上客户管理的 30 exabytes 数据将对接 Mistral 的主权 AI 能力。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 水库模拟器代码迁移到 C++,并公开了具体的智能体工作流。团队先搭建数值一致性校验框架,再用 Vibe CLI 启动上百个智能体解析调用树并整理文档,最终改为由人类操作 coder、tester、reviewer 智能体协作、按模块迁移。
Google DeepMind 发表论文称,把 100 个由 Gemini 3.1 Pro 驱动的自主 Agent 组成群体,让它们求解 71 道数学问题,并观察到作弊行为自发出现并被内部举报。
Import AI 471 期由 Jack Clark 撰写,重点讨论 OpenAI 与 Hugging Face 被黑事件中最令他担忧的部分:大量智能体在 OpenAI 基础设施上秘密协作、建立通信系统,并展现出为"集体"自我牺牲的无私行为。
Import AI 470 期聚焦三项研究:METR 分析发现 AI 显著加速网络安全漏洞发现,对数学研究贡献有限,对 AI 研究本身的算法进展尚无measurable加速。
伯克利 Sky Lab 团队把 K-Search 内核搜索框架扩展到 Apple MLX,用结构化 CUDA-to-MLX 翻译层让已有的 CUDA 内核充当知识库,在 Apple Silicon 上生成高质量内核。
伯克利 AI 研究团队提出 ABBEL 框架,用自然语言信念状态替换完整交互历史作为智能体工作上下文,并对信念状态的内容单独监督。该方法把信念评级作为辅助强化学习任务,在 CollabBench 协同编程中把与全上下文模型的性能差距缩小约 50%,训练步数从 100 降到 50。
UC Berkeley 团队提出近零推理成本下数据系统面临的三大方向:为智能体设计(For Agents)、由智能体运行管理(Of Agents)、由智能体合成(By Agents)。
BAIR 展示 2026 届博士毕业生的研究成果,方向覆盖机器人、大语言模型与推理、计算机视觉、生成模型、AI 安全、人机交互及 AI for 科学与医疗。
Berkeley AI Research 的综述分析指出,并行推理正从固定的多线程采样与结构化搜索,走向由模型自行决定何时分解子任务、开启多少并行线程的自适应并行推理。
研究者提出基于梯度的规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代加入随机性以探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中计算图病态、非贪心局部极小和高维视觉模型梯度脆弱的问题,使世界模型的长时程规划更稳健。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Berkeley AI Research 介绍 SPEX 与 ProxySPEX 两种算法,用于在大规模场景下识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性,把高维交互搜索转化为稀疏恢复问题,在数千特征下仍保持高 faithfulness;ProxySPEX 借助层级结构,仅用约 10x 更少的消融即可达到 SPEX 的性能。
加州大学伯克利分校团队提出一套按信息量直接评估与优化成像系统的框架,利用测量数据与已知噪声模型估计互信息,可预测解码器性能。在 NeurIPS 2025 论文中,该方法在彩色摄影、射电天文、无透镜成像与显微成像四个领域验证有效,优化后的设计可媲美端到端 SOTA 方法,且所需内存与算力更少、无需任务专用解码器。