熵值诊断

定义

评测"评估本身"质量的方法：同一测试用例对同一模型与 grader 跑 10 次。10/10 通过或 10/10 失败 = 低熵 = 信号干净；5/5 分裂 = 高熵 = grader 或用例本身有歧义。

要点

• 单次跑只看通过/失败，看不出 grader 是否稳定
• 成本是 10×，但诊断价值远超成本
• 高熵用例需要重写或者拆分，否则模型升级时数据无法解释
• 与 回归集与迭代集 配合：低熵稳定题进回归，高熵题先丢迭代集debug

示例

新模型上线，回归集通过率从 87% 降到 82%。如果不知道每条用例的熵，根本不知道是真的退步还是 grader 噪声。先跑熵值诊断，把 entropy > 0.5 的题剔除再算指标，分数立刻变得可信。

相关概念

• 自建评估Harness
• 回归集与迭代集
• 二元基准饱和

参考资料

• Akash Bajwa: Evals with Alec Barber, OpenAI（2026-04-27）