Google Research 研究：AI 基准测试需要多少标注者才够？

Google Research 用模拟器研究 AI 评测中「标注多少条目（N）」与「每条目标注多少人（K）」的权衡，发现常见的每条目 1、3、5 名标注者往往不够，反映人类观点细微差异常需每条目 10 名以上标注者。若只关心多数投票，增加条目更有效；若想捕捉观点分布，则必须增加标注者；在约 1000 条总标注的适度预算下，按指标选对比例即可获得高可复现结果。该模拟器已在 GitHub 开源。