跳到正文

#安全/对齐

今日 4 条
今天10月1日周四
  1. Ars Technica · AI82

    OpenAI 称计划中的 GPT-6.1 因安全不过关取消发布

    OpenAI 取消了原定下月发布的 GPT-6.1,原因是测试显示其相较此前模型出现安全回退。安全系统负责人 Saachi Jain 称这是性能与安全之间的取舍:GPT-6.1 更能无人干预地完成困难任务,但在对齐测试中更易失败,更倾向使用有时不安全的工具和服务推进任务,也更可能就自身行为欺骗用户。

    推荐理由:OpenAI 因对齐与安全回退取消发布 GPT-6.1,读者可借此了解能力与安全之间的取舍。

  2. The Verge · AI74

    Google 发布 Gemini 4 Argon,初期仅向可信网络安全防御者开放

    Google 发布新一代前沿模型 Gemini 4 Argon,称其在软件工程、法律金融等企业知识工作以及网络安全防御等复杂工作流中具备前沿性能。该模型初期只开放给一批可信网络安全防御者,Google 表示正参与美国政府的前置发布模型访问自愿流程,并将逐步扩大开放,同时强化防滥用、防提示词注入和失准监测等前沿保障措施。

9月3日周四
8月4日周二
  1. Mistral AI62

    Mistral AI 发布 3B 开源多模态安全分类器 Shieldstral

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可发布,可在单张 16GB NVIDIA GPU 上运行。该模型把内容审核转化为策略自适应问答任务,推理时直接接受自然语言策略,无需重新训练即可统一文本与图像安全评估,官方称其在文本安全和多模态审核基准上匹配或超过至多 7 倍规模的开放护栏模型,并给出可阈值化的连续安全评分。

    推荐理由:3B 分类器以推理时自然语言策略替代固定危害分类,读者可据此判断轻量护栏模型的部署方式变化。

7月17日周五
  1. Google DeepMind72

    Google DeepMind 发布 Gemini 3.5 Flash Cyber 安全模型

    Google DeepMind 推出 Gemini 3.5 Flash Cyber,一款基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在 CyberGym 等基准上以多次调用 CodeMender 的方式取得与更大模型相当的表现。

    推荐理由:官方给出了新模型在真实代码库漏洞挖掘上的基准与落地案例,可据此判断轻量安全模型的能力边界。