从合成企业数据评测到提升 Microsoft Copilot 的 AI 置信度
微软构建 Industry Evaluation Data Generation Platform,通过全尺度合成企业环境评测 Microsoft Copilot,在不接触客户数据的前提下验证性能。该平台基于 O*NET、在线招聘与 SEC 申报等公开数据源,模拟具备真实时序的邮件、会议和组织架构。目前已针对制药、资本市场及 IT 软件构建三类仿真环境,用以发现通用基准难以覆盖的问题。
微软构建 Industry Evaluation Data Generation Platform,通过全尺度合成企业环境评测 Microsoft Copilot,在不接触客户数据的前提下验证性能。该平台基于 O*NET、在线招聘与 SEC 申报等公开数据源,模拟具备真实时序的邮件、会议和组织架构。目前已针对制药、资本市场及 IT 软件构建三类仿真环境,用以发现通用基准难以覆盖的问题。
Elorian 联合 Mercor 发布 DecoyCount 基准并公布视觉推理测试结果,用于检验模型是在真实计数还是依赖视觉捷径与替代启发式。在测试中前沿模型准确率均低于 50%(最高者 GPT-6 Astra 为 43.17%),Elorian 自研视觉思考模型 Glimpse 在单次独立测试中取得 50.48% 准确率。
Artificial Analysis 全面改版其 Intelligence Index v5,使开源模型与榜首的差距从 3 分拉大至 12 分。新版本首次将 60% 的评测依赖于私有闭源测试集以防止针对测试题刷榜(benchmaxxing),导致月之暗面 Kimi K3.1 Pro 排名从第 4 跌至第 9 并落后于 8 款闭源模型,Grok 4.7 也下降 12 分。
OpenAI 发布 GPT-6.1 Terra,API 价格是 GPT-5.6 Terra 的一半,输入每百万 token 1 美元、输出 5 美元,缓存输入降至每百万 token 0.05 美元。
推荐理由:以 API 价格减半和每任务成本对比为主线,读者可据此判断中端模型在成本与能力间的取舍。
纽约大学与得克萨斯大学奥斯汀分校的研究让 Claude、GPT-5.6、GLM-5、Kimi K2.5 及 Llama、Olmo 等 14 个模型生成对话、编码会话和议论文。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务特定训练、特征工程或表扁平化。在 15 个数据库的 41 项任务上,它超过监督式关系深度学习模型和专家特征工程 GBDT 管线;在 SAP SALT 企业基准上,其 MRR 比 AutoGluon 集成高 8%,微调后扩大到 16%。
推荐理由:原文给出与企业数据库上直接预测的对比结果和开放权重,可供读者判断无需训练的范式在关系型数据上走到哪一步。
Import AI 476 汇总了多项新研究:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 基准,用 522 道题测模型对图像和视频隐含信息的直觉推理,人类基线 pass@1 为 93.1,表现最好的 GPT 6 Astra 为 53.6,GLM-5.3-flash 与 Kimi K3 仅在 26 左右。
Microsoft 研究合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统基准的性能边界,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她同时分享了使用当前 AI 系统的实用建议,并强调当结果出乎预期时应仔细检查数据。
GitHub 发布 AI 代码审查离线基准 ReviewBench,包含 219 个公开 pull request、覆盖 19 种语言,并配有公开数据集和排行榜。
推荐理由:GitHub 公布 ReviewBench 的构建方法与 96.6% 专家标注一致率,并给出离线结果与线上 A/B 实验的对应案例。