消融设计空结果

定义

Anthropic 数据团队的 evals 方法论原则：为空结果（null result）而设计。每个关于 Skill 的结构性决策（暴露哪些源、某个子 Agent 是否值得它的延迟、是否合并两个 Skill）都通过固定离线 eval 集、只改变一个组件、比较通过率来回答——方法论比任何单个结果更重要。

要点

• 最有用的消融常是负面的。团队给 Agent 直接 grep 访问全部 dashboard/转换/notebook SQL（数千文件），并在 transcript 里验证它每次回答前确实读了——准确率上下变动不到一个百分点。
• 进一步排查混淆：错题的答案 80% 真的在语料里；但"答案在场"并不预测"现在答对"（flip rate 平的）。结论：瓶颈不是对既往工作的"访问"，而是"结构"（把问题映射到正确实体）。这一个实验改变了数月的路线图。
• 在 PR 粒度做消融：每次有意义的 skill 编辑都在相关 eval 切片上跑 before/after，delta 写进 PR 描述——让"我改进了文档"保持诚实，并抓住"善意的添加反而变差"这一常见情况。
• 保留一份"什么没用"的短清单：如"过了某点后继续堆文档精炼回合"（连续三次净负、文档变长非变好）、"把对抗式 reviewer 换便宜模型省延迟"（丢掉大部分准确率收益、没真省速度）。负面结果记录成本低，能阻止下一个人重跑同样实验。

示例

"对抗式 review"提升准确率 6% 但多花 32% token、72% 延迟——这类 trade-off 只有通过固定 eval 集的单变量消融才能诚实量化。

相关概念

• 配对 Skill
• 代理式分析三失败模式
• 回归集与迭代集
• 熵值诊断
• 自建评估Harness

参考资料

• Anthropic《How Anthropic enables self-service data analytics with Claude》