跳到正文

#多模态

今日 0 条
8月26日周三
  1. Google Research47

    Google 推出 AgentHands:为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands,可将 LLM 的高层推理映射为与语音同步的 XR 手势,让智能体在真实空间中边讲解边指向物体。系统包含环境感知、手势事件库和手势嵌入推理,并已在 Android XR 上演示兰花养护、3D 打印机操作等场景。12 人用户研究显示,相比纯语音基线,空间定位效果显著提升。

8月17日周一
8月12日周三
  1. Google Research71

    Google 发布 AMIE (Video):实时视频问诊达到专家级表现

    Google Research 发布 AMIE (Video),在 Gemini 与 Project Astra 之上实现同步临床视频问诊,可感知非语言临床线索、引导患者演员完成虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE (Video) 用三智能体异步架构支撑实时视频问诊,并在 300 场随机 OSCE 研究中与初级保健医生对比,适合了解医疗多模态智能体的设计与评测方式。

7月23日周四
6月17日周三
6月13日周六
6月5日周五
4月30日周四
  1. Google DeepMind73

    Google DeepMind 发布 AI co-clinician 医疗协作研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下参与患者诊疗的三人协作模式。在 98 条真实初级保健问题的盲评中,该系统 97 例无关键错误,优于医生常用的两个 AI 系统;与哈佛、斯坦福合作的 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但识别危险信号和指导关键体格检查仍不如专家。

    推荐理由:Google DeepMind 的医疗智能体研究给出了盲评、随机仿真等量化结果,可了解 AI 与医生协作的当前边界。

4月9日周四
3月18日周三