跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

13 条精选近 30 天 13 条共收录 25 条

更新

多模态的精选

10月31日周六第 1–13 条
10月29日周四
  1. Mistral AI84

    Mistral AI 开源 1 万亿参数多模态模型 Mistral Large 4 权重

    Mistral AI 正式开源 1 万亿参数原生多模态旗舰模型 Mistral Large 4(Le Chonk)的模型权重。该版本强化了强化学习训练,在 FrontierCode 2.0 和 Terminal-Bench 4.0 等编码与终端基准测试中位居开源模型前列,并新增 Low、Medium、High 三种推理模式以平衡性能与推理成本。

    推荐理由:原文提供了各推理模式与基准表现,开发者可据此评估其在高性价比编程智能体中的落地可行性。

10月28日周三
  1. Hugging Face Blog75

    Liquid AI 发布 LFM3 系列多模态模型

    Liquid AI 推出新一代 Liquid Foundation Models(LFM3)系列开源权重,基于 LFM3-1.7B-Base 统一底座衍生出覆盖文本、视觉、音频、全模态和决策任务的 6 款 2B 级模型。

    推荐理由:该系列将多模态能力统一到2B级轻量底座并支持单卡微调,适合作为端侧智能体与具身控制的专用模型参考。

  2. AWS Machine Learning Blog61

    Property Finder 与 AWS 详解消除评测偏见与视觉模型优化实践

    Property Finder 联合 AWS 团队发现其 96.8% 的视觉评测标签源自原模型输出而导致循环偏见,通过引入领域专家独立标注并结合提示词优化,在 Amazon Bedrock 上将房产图像评估模型切换为 Llama 4 Maverick 17B Instruct。

    推荐理由:原文揭示了用旧模型输出做评测基准所导致的循环偏见,为视觉模型选型和提示词工程提供了可迁移的落地流程。

  3. Google DeepMind73

    Google DeepMind 发布实时交互世界模型 Genie 4

    Google DeepMind 发布新一代交互式世界模型 Genie 4,支持实时通过键鼠和自然语言指令生成并调整具备物理规律的仿真环境。该模型原生支持同步生成环境音效与角色交互对话,并引入 Gemini 模型作为引导 Agent 维持场景的多步推理与因果连贯性。

    推荐理由:该模型结合语言模型推理与实时像素生成,展示了如何通过自然语言与键控交互驱动高保真物理仿真与多模态环境生成。

10月24日周六
10月22日周四
  1. Google DeepMind63

    Google DeepMind 与 Google Research 发布森林类型地图 ForTy 2020

    Google DeepMind 与 Google Research 联合 WRI、IIASA 发布全球森林类型地图 ForTy 2020,按 10 米分辨率将每块土地归入原始林、自然再生林、人工种植林、商品林、树作物与农林复合、其他土地六类,并对齐欧盟零毁林法规的 2020 年基准。

    推荐理由:这张 10 米分辨率地图区分六类森林与土地利用,并提供 2017 至 2025 年逐年变化,可作为欧盟零毁林法规的核查参考。

  2. NVIDIA Blog71

    NVIDIA 扩展 Cosmos 平台,新增世界模型训练、评测与部署工具

    NVIDIA 扩展 Cosmos 平台,新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图,并在 GTC Berlin 把 Cosmos Framework 的训练优化技能扩展到更多开放模型,同时发布 Cosmos 3。

    推荐理由:原文列出数据工厂蓝图、训练框架与推理加速的完整链路,读者可据此判断世界模型的工程化门槛变化。

10月17日周六
  1. Google Research80

    Google Research 用三个项目让 AI 智能体接入真实湿实验室

    Google Research 发布研究博客,介绍用 VERID 框架和适配体、蛋白质设计两类闭环实验,把 AI 智能体从干实验(in-silico)设计推进到湿实验室执行。

    推荐理由:Google Research 用三个具体项目说明了智能体如何接入湿实验室的物理执行与闭环实验,其中包含多轮失败模式的分析。

10月14日周三
  1. Google DeepMind95

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业、科研人员和消费者开放,定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:官方给出多领域实测与定价细节,可据此判断新模型在编码、科研和企业工作流中的具体位置。

10月7日周三
  1. Google DeepMind72

    Google DeepMind 发布 EmbeddingGemma 2 开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是一个可原生映射文本、图像、音频和视频到统一嵌入空间的多模态嵌入模型,基于 Gemma 4 架构,采用 Apache 2.0 许可,参数量 7.4 亿。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频和视频嵌入统一到 7.4 亿参数的端侧模型,给出各模态参数拆分和内存占用,便于评估私有化检索方案。

10月6日周二