Epoch 与 METR 发布 MirrorCode 基准:AI 可完成数周规模的编程任务
Epoch 与 METR 发布 MirrorCode 基准,让 AI 仅凭 CLI 访问重实现软件程序,25 个目标程序中 17 个有满分运行,Opus 4.7 用 14 小时、251 美元推理成本完成 METR 和 Epoch 估计人类需 2-17 周的任务。
推荐理由:MirrorCode 用 25 个真实程序衡量 AI 自主重实现能力,Opus 4.7 花 14 小时完成人类需数周的任务。
Epoch 与 METR 发布 MirrorCode 基准,让 AI 仅凭 CLI 访问重实现软件程序,25 个目标程序中 17 个有满分运行,Opus 4.7 用 14 小时、251 美元推理成本完成 METR 和 Epoch 估计人类需 2-17 周的任务。
推荐理由:MirrorCode 用 25 个真实程序衡量 AI 自主重实现能力,Opus 4.7 花 14 小时完成人类需数周的任务。
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者对 AI 说服人类的能力做了四组实验,涉及 6923 人的 18978 场对话,发现 AI 系统在文本说服上稳定优于人类专家,即使专家提前研究、接受数小时结构化训练并获得 1000 英镑现金奖励。
Google 与 Cornell University 合作在 PNAS 发表研究,用 67 道高温超导领域专家题测试 6 款 LLM,由国际专家小组按 6 项指标盲评打分。