同一份 Research Agent 生成的报告，两个专家可能给出完全不同的分数。那我们平时用 LLM Judge 跑出来的 Eval，到底有多可信？

张海明

同一份 Research Agent 生成的报告，两个专家可能给出完全不同的分数。那我们平时用 LLM Judge 跑出来的 Eval，到底有多可信？

Cameron R. Wolfe 最近这篇文章很值得读，专门讨论怎么评估 Deep Research、创意写作等高度主观的 Agent 任务。

作者给出了一套挺实用的流程。

先让领域专家定义评分标准，再让多个人评同一批结果。如果人类评审之间分歧很大，就得先修改评分规则，甚至删掉那些根本评不准的指标。

接着，用人工确认的数据校准 LLM Judge，通过重复测试、置信区间，避免把随机波动当成模型进步。

最后还要回到真实产品，用 A/B 测试和用户反馈检查离线评测的提升有没有真正转化成使用体验。

我比较认同「先验证评估器」这个思路。

尤其是做 Research Agent，很多时候我们太关注 Eval 分数有没有上涨，却很少认真检查评分标准本身是否可靠。

感觉这篇很适合做 Agent Eval 的朋友收藏，质量非常高！里面的数据采样、评审校准和统计方法都很有参考价值。

原文：https://cameronrwolfe.substack.com/p/subjective-evals

秋风怡然

LLM Judge 我觉得最该先做的是和人对齐：挑几十份报告，人和 Judge 各打一遍，一致率不够就先改评分标准，别急着跑大批量。主观任务最好拆成能核对的小项，比如引用对不对、有没有漏关键点，比直接给总分稳得多。