Cameron R. Wolfe 最近这篇文章很值得读，专门讨论怎么评估 Deep Research、创意写作等高度主观的 Agent 任务。
作者给出了一套挺实用的流程。
先让领域专家定义评分标准，再让多个人评同一批结果。如果人类评审之间分歧很大，就得先修改评分规则，甚至删掉那些根本评不准的指标。
接着，用人工确认的数据校准 LLM Judge，通过重复测试、置信区间，避免把随机波动当成模型进步。
最后还要回到真实产品，用 A/B 测试和用户反馈检查离线评测的提升有没有真正转化成使用体验。
我比较认同「先验证评估器」这个思路。
尤其是做 Research Agent，很多时候我们太关注 Eval 分数有没有上涨，却很少认真检查评分标准本身是否可靠。
感觉这篇很适合做 Agent Eval 的朋友收藏，质量非常高！里面的数据采样、评审校准和统计方法都很有参考价值。
原文：https://cameronrwolfe.substack.com/p/subjective-evals