跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 29 条
9月29日周二
9月2日周三
  1. Google DeepMind71

    Google DeepMind 为 Gemini 推出智能体视频理解功能

    Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出智能体视频理解功能,视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。

    推荐理由:官方给出视频分析在 token、成本与准确率上的量化变化,并说明可用入口和启用方式,便于开发者评估是否迁移现有视频处理流程。

8月28日周五
8月12日周三
  1. Google DeepMind67

    Google DeepMind 发布手语转文本模型 SL2T,首发落地 Gboard 与 Live Transcribe

    Google DeepMind 发布手语转文本模型 SL2T,以超过 10 万小时、50 多种手语的数据训练,实现手语到文本的机器翻译。该模型首先在 Pixel 11 的 Gboard 与 Live Transcribe 中上线,支持美国手语(ASL)转英文,可用来搜索、写消息或向 Gemini 提问,更多设备和语言将后续支持。

    推荐理由:官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式,可了解手语 AI 首次落地消费产品的工程取舍。

  2. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级表现

    Google Research 发布 AMIE (Video),在 Gemini 与 Project Astra 之上实现同步临床视频问诊,可感知非语言临床线索、引导患者演员完成虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE (Video) 用三智能体异步架构支撑实时视频问诊,并在 300 场随机 OSCE 研究中与初级保健医生对比,适合了解医疗多模态智能体的设计与评测方式。

8月10日周一
8月4日周二
  1. Mistral AI62

    Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可发布,可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核转化为策略自适应问答任务,推理时直接接受自然语言策略,无需重新训练即可统一文本与图像安全评估,官方称其在文本安全和多模态审核基准上匹配或超过至多 7 倍规模的开放护栏模型,并给出可阈值化的连续安全评分。

    推荐理由:3B 分类器以推理时自然语言策略替代固定危害分类,读者可据此判断轻量护栏模型的部署方式变化。

7月30日周四
7月28日周二
  1. Google DeepMind77

    Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2,首次实现对人形机器人从脚到指尖的全身控制。

    推荐理由:官方给出了全身控制、22 自由度手部操作与多机器人协作的能力边界,并说明首个具身推理模型已开放入口。

7月15日周三
7月8日周三
  1. Mistral AI71

    Mistral 发布 Robostral Navigate 具身导航模型

    Mistral AI 发布 Robostral Navigate,这是其首个面向具身导航的 8B 模型,仅凭单张 RGB 图像和自然语言指令即可让机器人自主导航,无需 LiDAR 或深度传感器。

    推荐理由:原文给出单 RGB 相机实现具身导航的基准数据和训练方法,读者可了解紧凑模型如何完成复杂导航任务。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI

    Hugging Face 与 Cerebras 联合演示了一条实时语音到语音流水线,采用开源可替换的级联架构。语音识别用 Nvidia 的 Parakeet,语言模型用 Google DeepMind 的 Gemma 4 31B 在 Cerebras 上推理,文本转语音用 Alibaba 的 Qwen3TTS。

    推荐理由:Hugging Face 与 Cerebras 联合演示开源语音到语音流水线,读者可了解各层组件如何组合与何处替换。

6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4 12B:统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款面向笔记本电脑的无编码器多模态模型,视觉与音频输入直接进入 LLM 主干。该模型在标准基准上接近 26B MoE 模型的表现,同时总内存占用不到其一半,并首次在中等规模 Gemma 中支持原生音频输入。

    推荐理由:原文给出无编码器架构的视觉与音频直连设计和 16GB 显存本地运行门槛,可据此判断端侧多模态智能体的落地条件。

6月5日周五
5月18日周一
5月17日周日
5月16日周六
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash,主打智能体与编码能力,今日起在 Gemini app、Google Search AI Mode、Google Antigravity、Gemini API、AI Studio、Android Studio 及 Gemini Enterprise 上线。

    推荐理由:官方披露 3.5 Flash 在 Terminal-Bench 2.1 等基准上的成绩与 4 倍输出速度,可据此判断其性价比定位。

4月30日周四
  1. Google DeepMind73

    Google DeepMind 发布 AI co-clinician 医疗协作研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下参与患者诊疗的三人协作模式。在 98 条真实初级保健问题的盲评中,该系统 97 例无关键错误,优于医生常用的两个 AI 系统;与哈佛、斯坦福合作的 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但识别危险信号和指导关键体格检查仍不如专家。

    推荐理由:Google DeepMind 的医疗智能体研究给出了盲评、随机仿真等量化结果,可了解 AI 与医生协作的当前边界。

3月24日周二
  1. Mistral AI71

    Mistral AI 发布 Voxtral TTS 语音合成模型

    Mistral AI 发布首款文本转语音模型 Voxtral TTS,4B 参数,支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言的语音生成。

    推荐理由:原文给出了架构、延迟与定价,读者可据此判断它在企业语音工作流中的位置。