Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索
Condé Nast 与 AWS 生成式 AI 创新中心基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案，采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与字幕信号，将单次内容检索耗时从 250 分钟降到 2 分钟以内。
#多模态
#多模态
今日 1 条AWS Machine Learning BlogAI 评分3232
Microsoft Research精选AI 评分7070 Microsoft Research 推出生物学 AI 研究系统 Quine
Microsoft Research 发布 Quine，一个面向生物学复杂性的 AI 研究系统，由生物学世界模型和连接模型、科学工具、文献与科研人员的交互式 harness 两部分组成。
推荐理由：微软研究院公开了面向生物学的多模态世界模型 Quine 及其与 Broad Institute 合作的湿实验验证结果。
AWS Machine Learning BlogAI 评分3333 在 Amazon SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL，通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行后训练，在固定 64 个迷宫评测集上把迷宫求解率从 43.75% 提升到 95% 以上。
Google DeepMind精选AI 评分7171 Google DeepMind 为 Gemini 推出智能体视频理解功能
Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出智能体视频理解功能，视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由：官方给出视频分析在 token、成本与准确率上的量化变化，并说明可用入口和启用方式，便于开发者评估是否迁移现有视频处理流程。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 Gemini Omni 1.1 Flash，强化生成视频控制
Google DeepMind 发布 Gemini Omni 1.1 Flash，通过 Gemini API 在 Google AI Studio 提供给开发者，新增场景延长、首尾帧插值、360p 快速草稿和 4K 放大等能力。
推荐理由：原文列出场景延长、首尾帧插值和 4K 放大等具体能力与价格入口，可据此判断生成视频工作流的变化。
Google ResearchAI 评分4747 Google 推出 AgentHands：为 XR 智能体对话生成空间化手势
Google 发布研究原型 AgentHands，可将 LLM 的高层推理映射为与语音同步的 XR 手势，让智能体在真实空间中边讲解边指向物体。系统包含环境感知、手势事件库和手势嵌入推理，并已在 Android XR 上演示兰花养护、3D 打印机操作等场景。12 人用户研究显示，相比纯语音基线，空间定位效果显著提升。
Google ResearchAI 评分4747 Google 推出 PhotoScan：用手机照片估算体成分并预测胰岛素抵抗
Google 提出 PhotoScan，一个可直接从普通 2D 手机照片估算体脂率（BF%）、Android/Gynoid 脂肪比（A/G）和内脏/皮下脂肪面积比（V/S）的深度学习框架。
Hugging Face BlogAI 评分4141 Hugging Face 推出 OlmoEarth embeddings：从 OlmoEarth Studio 导出嵌入向量用于下游分析
Hugging Face 的 OlmoEarth Studio 现已支持计算并导出 OlmoEarth 开源基础模型生成的嵌入向量，代码与模型权重已公开。用户可在 UI 或 API 中选择区域、1-12 个月时间跨度、Nano（128 维）/Tiny（192 维）/Base（768 维）编码器及 10-80 米分辨率，导出 int8 量化的轻量 COG。
Google DeepMind精选AI 评分6767 Google DeepMind 发布手语转文本模型 SL2T，首发落地 Gboard 与 Live Transcribe
Google DeepMind 发布手语转文本模型 SL2T，以超过 10 万小时、50 多种手语的数据训练，实现手语到文本的机器翻译。该模型首先在 Pixel 11 的 Gboard 与 Live Transcribe 中上线，支持美国手语（ASL）转英文，可用来搜索、写消息或向 Gemini 提问，更多设备和语言将后续支持。
推荐理由：官方披露 SL2T 的训练规模、手语到文本的翻译路径与隐私处理方式，可了解手语 AI 首次落地消费产品的工程取舍。
Google Research精选AI 评分7171 Google 发布 AMIE (Video)：实时视频问诊达到专家级表现
Google Research 发布 AMIE (Video)，在 Gemini 与 Project Astra 之上实现同步临床视频问诊，可感知非语言临床线索、引导患者演员完成虚拟体格检查并实时进行诊断推理。
推荐理由：AMIE (Video) 用三智能体异步架构支撑实时视频问诊，并在 300 场随机 OSCE 研究中与初级保健医生对比，适合了解医疗多模态智能体的设计与评测方式。
Microsoft ResearchAI 评分4848 Microsoft Research 推出 CARE-X：面向临床可用的放射学 VLM，结合辅助监督、奖励对齐学习与工具增强测量
Microsoft Research 发布研究模型 CARE-X，一个面向胸部 X 光多种解读任务的统一 VLM，结合生成与结构化预测，并用强化学习（DAPO）在多任务设定下奖励临床正确性。
Hugging Face Blog精选AI 评分8787 Meta 开源 Muse Glimmer：面向本地智能体的 30B 多模态模型
Meta 发布开源多模态模型 Muse Glimmer，从 Muse 蒸馏至 30B 参数，采用 Apache 2.0 许可，面向编码、文档分析、个人助理等本地智能体场景。
推荐理由：Meta 开源 30B 多模态模型，附 day-0 推理与量化支持，可用于评估本地智能体模型的落地方案。
Mistral AI精选AI 评分6262 Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可发布，可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核转化为策略自适应问答任务，推理时直接接受自然语言策略，无需重新训练即可统一文本与图像安全评估，官方称其在文本安全和多模态审核基准上匹配或超过至多 7 倍规模的开放护栏模型，并给出可阈值化的连续安全评分。
推荐理由：3B 分类器以推理时自然语言策略替代固定危害分类，读者可据此判断轻量护栏模型的部署方式变化。
Google DeepMind精选AI 评分7272 Google DeepMind 发布具身推理模型 Gemini Robotics ER 2
Google DeepMind 发布面向机器人具身推理的 Gemini Robotics ER 2，作为高层大脑负责对话、理解物理世界并规划多步任务，再交由底层 VLA 模型执行动作。
推荐理由：官方给出进度分类、时刻定位与多机协作的量化结果，可对照上一代了解具身推理的实际提升幅度。
Google DeepMind精选AI 评分7777 Google DeepMind 发布 Gemini Robotics 2，为机器人带来全身智能
Google DeepMind 发布 Gemini Robotics 2，包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2，首次实现对人形机器人从脚到指尖的全身控制。
推荐理由：官方给出了全身控制、22 自由度手部操作与多机器人协作的能力边界，并说明首个具身推理模型已开放入口。
Hugging Face BlogAI 评分4949 NVIDIA Cosmos-H-Dreams：为手术机器人带来实时生成式仿真
NVIDIA 推出 Cosmos-H-Dreams，一个面向手术机器人的实时、动作条件生成式仿真器，可将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型，每帧潜变量最少只需 2 步去噪。
Google ResearchAI 评分5858 Google Research 发布 SymptomAI：面向日常症状评估的对话式 AI 智能体
Google Research 发布 SymptomAI 研究，让 13,917 名参与者在随机对照试验中与五个不同提问策略的 Gemini Flash 2.0 智能体进行症状访谈，并产出鉴别诊断（DDx）。
Hugging Face BlogAI 评分3131 新模型来了，优势依旧：DharmaOCR 在巴西葡萄牙语上仍胜过 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语专用基准上得分 0.925，超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型经葡萄牙语语料监督微调后，再用 DPO 提升推理稳定性、降低退化率。作者认为，把全部参数集中到单一语言领域，是其相对多语言模型的结构性优势。
Hugging Face Blog精选AI 评分8585 Thinking Machines 开源多模态大模型 Inkling 及 Inkling-Small
Thinking Machines 在 Hugging Face 发布 Inkling 及 Inkling-Small 两款开源多模态大模型。
推荐理由：原文列出了 Inkling 与 Inkling-Small 的架构参数、部署显存门槛和多引擎支持，读者可据此判断自部署可行性。
Mistral AI精选AI 评分7171 Mistral 发布 Robostral Navigate 具身导航模型
Mistral AI 发布 Robostral Navigate，这是其首个面向具身导航的 8B 模型，仅凭单张 RGB 图像和自然语言指令即可让机器人自主导航，无需 LiDAR 或深度传感器。
推荐理由：原文给出单 RGB 相机实现具身导航的基准数据和训练方法，读者可了解紧凑模型如何完成复杂导航任务。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Cerebras 将 Gemma 4 引入实时语音 AI
Hugging Face 与 Cerebras 联合演示了一条实时语音到语音流水线，采用开源可替换的级联架构。语音识别用 Nvidia 的 Parakeet，语言模型用 Google DeepMind 的 Gemma 4 31B 在 Cerebras 上推理，文本转语音用 Alibaba 的 Qwen3TTS。
推荐理由：Hugging Face 与 Cerebras 联合演示开源语音到语音流水线，读者可了解各层组件如何组合与何处替换。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）与 Gemini Omni Flash（gemini-omni-flash-preview）。
推荐理由：同属 Nano Banana 家族的三档模型首次给出速度、成本与质量的分工定位，可作为选型参照。
Google ResearchAI 评分3434 Google Earth AI 如何用深度学习把树篱和树丛变成可规划的数据
Google Research 发布矢量化数据集，把此前 Farmscapes 2020 中像素化的英国树篱、石墙和树丛转成可直接用于土地规划与碳核算的矢量清单。
Google ResearchAI 评分2222 Google Research 研究 AI 如何帮助用户理解皮肤状况
Google Research 公布多项皮肤科 AI 研究，其中发表于 JAMA Dermatology 的大规模调查显示，2,345 名参与者借助 AI 工具猜测皮肤状况名称的准确率从对照组的 8% 提升至 23%，"Wizard of Oz"组为 36%。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的无编码器多模态模型，视觉与音频输入直接进入 LLM 主干。该模型在标准基准上接近 26B MoE 模型的表现，同时总内存占用不到其一半，并首次在中等规模 Gemma 中支持原生音频输入。
推荐理由：原文给出无编码器架构的视觉与音频直连设计和 16GB 显存本地运行门槛，可据此判断端侧多模态智能体的落地条件。
Google Research精选AI 评分6666 Google 发布 PHRM：用手机前摄被动监测心率与静息心率
Google Research 在 Nature 发表论文，提出研究系统 PHRM，利用手机前置摄像头在面部解锁后的数秒内拍摄视频，在后台估计心率与每日静息心率。
推荐理由：Google 用手机前摄在日常解锁后被动测心率，读者可据此判断摄像头健康监测的可行性与肤色公平性进展。
Google DeepMindAI 评分5959 Google DeepMind 用 Street View 为 Project Genie 加入真实地点生成能力
Google DeepMind 为实验性原型 Project Genie 上线 Street View grounding 能力，用户可选取美国境内真实地点并叠加“Desert Sands”“Stone Age”“Ocean World”“B&W film”等风格，再描述角色生成可交互世界，该能力由 Maps Imagery Grounding 技术支持。
Google DeepMind精选AI 评分7979 Google DeepMind 发布 Gemini Omni 系列，首个模型 Gemini Omni Flash 上线
Google DeepMind 推出 Gemini Omni 系列，首个模型 Gemini Omni Flash 可组合图像、音频、视频和文本输入，生成并对话式编辑高质量视频。
推荐理由：Gemini Omni Flash 把视频生成与对话式编辑合并到同一模型，读者可据此判断多模态创作入口的变化。
Google DeepMind精选AI 评分6565 Google 扩大内容溯源工具，SynthID 与 C2PA 验证进入 Search 和 Chrome
Google 扩大内容透明度与验证工具，把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到 Search，并将在未来数周进入 Chrome。
推荐理由：原文给出了内容溯源工具从 Gemini 扩展到 Search 和 Chrome 的路径，读者可据此判断合成内容核验的可用范围。
Google DeepMind精选AI 评分8888 Google DeepMind 发布 Gemini 3.5 Flash
Google DeepMind 发布 Gemini 3.5 系列首个模型 3.5 Flash，主打智能体与编码能力，今日起在 Gemini app、Google Search AI Mode、Google Antigravity、Gemini API、AI Studio、Android Studio 及 Gemini Enterprise 上线。
推荐理由：官方披露 3.5 Flash 在 Terminal-Bench 2.1 等基准上的成绩与 4 倍输出速度，可据此判断其性价比定位。
Google DeepMind精选AI 评分7373 Google DeepMind 发布 AI co-clinician 医疗协作研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下参与患者诊疗的三人协作模式。在 98 条真实初级保健问题的盲评中，该系统 97 例无关键错误，优于医生常用的两个 AI 系统；与哈佛、斯坦福合作的 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但识别危险信号和指导关键体格检查仍不如专家。
推荐理由：Google DeepMind 的医疗智能体研究给出了盲评、随机仿真等量化结果，可了解 AI 与医生协作的当前边界。
Google DeepMindAI 评分5858 Google DeepMind 发布 Gemini Robotics-ER 1.6，新增仪表读数能力
Google DeepMind 推出 Gemini Robotics-ER 1.6，定位为机器人的高层推理模型，强化空间推理与多视角理解，可通过 Gemini API 和 Google AI Studio 供开发者使用。
Google ResearchAI 评分4141 Google 推出 PaperVizAgent 与 ScholarPeer 两个学术 AI 智能体
Google 发布两款面向学术研究流程的 AI 智能体：PaperVizAgent 负责从论文正文生成出版级图表，ScholarPeer 则自动完成论文同行评审。
Google ResearchAI 评分5353 Google 推出 Vibe Coding XR：用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用
Google 宣布 Vibe Coding XR，将 Gemini 作为创作伙伴配合其基于 Web 的 XR Blocks 框架，把自然语言直接转成具备物理感知的 Android XR 应用，耗时不到 60 秒。
Mistral AI精选AI 评分7171 Mistral AI 发布 Voxtral TTS 语音合成模型
Mistral AI 发布首款文本转语音模型 Voxtral TTS，4B 参数，支持英语、法语、德语、西班牙语、荷兰语、葡萄牙语、意大利语、印地语和阿拉伯语共 9 种语言的语音生成。
推荐理由：原文给出了架构、延迟与定价，读者可据此判断它在企业语音工作流中的位置。
Google Research精选AI 评分6969 Google 与 NHS 在 Nature Cancer 发表两项 AI 乳腺癌筛查研究
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两篇论文，评估 AI 用于乳腺癌筛查的效果。
推荐理由：两项 Nature Cancer 研究给出了 AI 参与乳腺癌筛查的检测率提升与阅片减负数据，并暴露人机仲裁的新问题。
Mistral AI精选AI 评分7474 Mistral 发布 Mistral Small 4 开源模型，统一推理、多模态与编码能力
Mistral AI 发布 Mistral Small 4，这是 Mistral Small 系列的下一个主要版本，也是首个把 Magistral 推理、Pixtral 多模态与 Devstral 编码智能体能力统一到单一模型的 Mistral 模型，采用 Apache 2.0 许可。
推荐理由：Mistral 首次把推理、多模态与编码智能体能力合并进一个开源模型，并给出可调推理强度与延迟数据。
Mistral AIAI 评分5757 Mistral AI 加入 NVIDIA Nemotron Coalition 并发布 Mistral Small 4
Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron Coalition，并与 NVIDIA 共同开发前沿开源模型，将 Mistral AI 的模型架构与全栈平台同 NVIDIA 的算力、模型开发工具及合成数据生成管线结合。
Google Research精选AI 评分6868 Google 在 Flood Hub 上线城市山洪预报
Google 宣布在 Flood Hub 上线城市山洪预报，基于新的 AI 方法可在城市地区提前最多 24 小时预测山洪风险。
推荐理由：官方公开了城市山洪预报的方法与评估结果，读者可了解AI预警在缺乏地面数据的地区如何落地。
Mistral AI精选AI 评分6464 Mistral AI 发布 Mistral OCR 3，在表单与手写文档上较上代提升 74%
Mistral AI 发布 Mistral OCR 3，在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 的整体胜率。该模型支持 markdown 输出并可用 HTML 标签还原表格结构，定价为每 1000 页 2 美元，Batch API 折扣下降至每 1000 页 1 美元，模型 API 名为 mistral-ocr-2512。
推荐理由：原文给出 OCR 3 相对上一代的提升幅度和按页计价，读者可据此估算文档处理流水线的成本变化。