跳到正文
10月30日周五
  1. Microsoft Research42

    从合成企业数据评测到提升 Microsoft Copilot 的 AI 置信度

    微软构建 Industry Evaluation Data Generation Platform,通过全尺度合成企业环境评测 Microsoft Copilot,在不接触客户数据的前提下验证性能。该平台基于 O*NET、在线招聘与 SEC 申报等公开数据源,模拟具备真实时序的邮件、会议和组织架构。目前已针对制药、资本市场及 IT 软件构建三类仿真环境,用以发现通用基准难以覆盖的问题。

10月29日周四
  1. Latent Space53

    Elorian 推出 DecoyCount 视觉推理基准,实测前沿模型计数与视觉捷径缺陷

    Elorian 联合 Mercor 发布 DecoyCount 基准并公布视觉推理测试结果,用于检验模型是在真实计数还是依赖视觉捷径与替代启发式。在测试中前沿模型准确率均低于 50%(最高者 GPT-6 Astra 为 43.17%),Elorian 自研视觉思考模型 Glimpse 在单次独立测试中取得 50.48% 准确率。

10月28日周三
10月27日周二
10月22日周四
  1. Hugging Face Blog75

    NVIDIA 发布关系型基础模型 Kumo Relational,无需训练即可预测

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务特定训练、特征工程或表扁平化。在 15 个数据库的 41 项任务上,它超过监督式关系深度学习模型和专家特征工程 GBDT 管线;在 SAP SALT 企业基准上,其 MRR 比 AutoGluon 集成高 8%,微调后扩大到 16%。

    推荐理由:原文给出与企业数据库上直接预测的对比结果和开放权重,可供读者判断无需训练的范式在关系型数据上走到哪一步。

10月12日周一
10月7日周三
  1. Microsoft Research34

    Microsoft 研究副总裁 Jennifer Neville 谈 AI 的失败与评估能教会我们什么

    Microsoft 研究合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统基准的性能边界,以及模型在超出传统 benchmark 测试时出现的"意外失败"。她同时分享了使用当前 AI 系统的实用建议,并强调当结果出乎预期时应仔细检查数据。

10月5日周一