跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

7 条精选近 30 天 7 条共收录 49 条

更新

数据与训练的精选

10月31日周六第 1–7 条
  1. The Verge · AI77

    OpenAI、Google、Microsoft 与 Anthropic 联合支持网站退出 AI 抓取新标准

    OpenAI、Google、Microsoft 和 Anthropic 宣布将采用新的统一标准,允许出版商在 robots.txt 中配置共享策略 token,一次性退出多家厂商的 AI 数据抓取与训练。

    推荐理由:统一的策略 token 改变了出版商逐家配置防抓取规则的繁琐现状,为跨厂商规范 AI 训练数据获取提供了可迁移标准。

10月30日周五
  1. TechCrunch · AI78

    应对 AI 搜索引流下滑与数据抓取,Reddit 宣布将转向以登录体验为主

    Reddit 在第三季度财报会上宣布将转向以登录体验为主的模式,旨在保护数据免遭 AI 抓取以推进授权交易,并应对 AI 搜索导致的流量下滑。

    推荐理由:原文展现了 AI 搜索摘要对传统内容社区流量的实际冲击,有助于读者理解开放网络平台转向登录墙保护数据资产的商业动因。

10月27日周二
10月25日周日
  1. The Decoder78

    Nvidia 开源机器人视频标注数据引擎 Flora

    Nvidia 开源数据引擎 Flora,用三个基于 Qwen3.5 微调的模型完成机器人视频的片段切分、动作描述和逐步评分,已在 GR00T 模型训练中每天标注最多 20 万小时视频,模型发布在 Hugging Face。

    推荐理由:原文给出开源标注工具的成本估算和基准对比,也点出评测方法与成本推算上的局限,便于判断它在机器人数据流水线中的位置。

10月22日周四
  1. Hugging Face Blog75

    NVIDIA 发布关系型基础模型 Kumo Relational,无需训练即可预测

    NVIDIA 发布预训练关系型基础模型 Kumo Relational,直接在企业数据库上做预测,无需任务特定训练、特征工程或表扁平化。在 15 个数据库的 41 项任务上,它超过监督式关系深度学习模型和专家特征工程 GBDT 管线;在 SAP SALT 企业基准上,其 MRR 比 AutoGluon 集成高 8%,微调后扩大到 16%。

    推荐理由:原文给出与企业数据库上直接预测的对比结果和开放权重,可供读者判断无需训练的范式在关系型数据上走到哪一步。

10月8日周四
  1. Microsoft Research80

    微软研究院开源 Agent Lightning v1.0,约 3500 行代码的轻量 agent RL 框架

    微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量 agent 强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与训练。

    推荐理由:微软研究院开源这个框架,可以直接解决真实 agent harness 接入 RL 训练时重复实现的问题,并给出了可复现的编码智能体训练流程。