回归集与迭代集

定义

Eval 数据集的最小卫生切分：**回归集（Regression Set）**稳定、广覆盖，所有变更必须跑；**迭代集（Iteration Set）**小、聚焦于当前在 debug 的失败模式。修复后从迭代集迁入回归集。

要点

• 两套集合各司其职，不要混在一个表里跑
• 必须定期裁剪回归集：新模型一上来很多老题变成送分题，纯粹浪费算力
• 迁移规则：迭代集解决 → 加入回归集；回归集变送分 → 退役
• 与 熵值诊断 联动：高熵用例不进回归

示例

团队遇到"长上下文中数字汇总错误"频发：在迭代集放 30 道针对性长上下文加和题，专攻几周后通过率稳定到 95%+，挑选 5 道最有代表性的迁入回归集；同时回归集里的某条"翻译 hello"题在新模型上 100/100 通过 → 退役。

相关概念

• 自建评估Harness
• 熵值诊断
• 二元基准饱和

参考资料

• Akash Bajwa: Evals with Alec Barber, OpenAI（2026-04-27）