跳到正文
原文
Simon Willison·· 20 小时前AI 评分27

Qwen3.8 27B 用英文单词做加法的基准测试

Qwen3.8 27B addition in words

AI 导读

一项基准测试检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否仅用英文单词完成正整数加法并给出精确结果:关闭推理时 5,070 个用例的数值准确率为 23.57%,格式合规率 96.17%,准确率从一至三位操作数的 97.04% 降至十至十三位的 6.44%。

来源:Simon Willison · simonwillison.net