干货！Agent LLM Eval 必读文章清单
这份清单整理了截图中的 11 篇关于 LLM Eval、Agent Eval 和基准测试的入门必读材料。
阅读顺序按原始清单保留：先建立对“为什么 Eval 重要”的直觉，再进入流程、基础设施、基准设计和验证者可靠性等更具体的问题。
The Second Half — Shunyu Yao
类型：blog
链接：https://ysymyth.github.io/The-Second-Half/
推荐理由：解释为什么 evaluation 会变得比 training 更重要，是理解整个领域变化的起点。
An LLM-as-Judge Won't Save the Product, Fixing Your Process Will — Eugene Yan
类型：blog
链接：https://eugeneyan.com/writing/eval-process/
推荐理由：强调流程比工具更重要，把 eval 看成一种科学方法，而不是单点工具。
Hidden Technical Debt: Agent Evaluation Infrastructure — Han-Chung Lee
类型：blog
链接：https://leehanchung.github.io/blogs/2026/06/13/hidden-technical-debt-agent-evaluation-infra/
推荐理由：讨论 agent eval 的基础设施债务，包括 control plane、data plane、五类 eval surface 和 state delta。核心观点是：chat eval 像电子表格，agent eval 更像一个系统。
LLM Evals FAQ — Hamel Husain & Shreya Shankar
类型：blog
链接：https://hamel.dev/blog/posts/evals-faq/
推荐理由：非常密集的实践问答，覆盖 error 分析、binary judgments 和 benevolent-dictator labeler 等操作细节。
Asymmetry of Verification and Verifier's Law — Jason Wei
类型：blog
链接：https://www.jasonwei.net/blog/asymmetry-of-verification-and-verifiers-law
推荐理由：提出“验证能力约等于创建强化学习环境的能力”，适合理解为什么验证本身会成为核心能力。
Demystifying Evals for AI Agents — Anthropic
类型：blog
链接：https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
推荐理由：Agent-specific eval 的一手材料，讲 task design、outcome vs trajectory、isolated trials，以及 pass@k 和 pass^k 的差异。
How to Build Good Language Modeling Benchmarks — Ofir Press
类型：blog
链接：https://ofir.io/How-to-Build-Good-Language-Modeling-Benchmarks/
推荐理由：讨论什么样的 benchmark 才是 natural、auto-evaluable、challenging，并提出约一年饱和周期和“-200%”难度目标。
AI Agents That Matter — Kapoor, Stroebl, Siegel, Nadgir, Narayanan
类型：paper
链接：https://arxiv.org/abs/2407.01502
推荐理由：把 cost 作为一等指标，区分 model development 和 application development，并提醒 missing holdouts 会导致过拟合。
Building on Evaluation Quicksand — Nathan Lambert
类型：blog
链接：https://www.interconnects.ai/p/building-on-evaluation-quicksand
推荐理由：指出 LLM eval 很多时候没有稳定 ground truth，存在 contamination，以及 eval 与 training 之间的耦合问题。
Who Validates the Validators? (EvalGen) — Shankar, Zamfirescu-Pereira, Hartmann, Parameswaran, Arawjo
类型：paper
链接：https://arxiv.org/abs/2404.12272
推荐理由：讨论 criteria drift：很多时候你无法在评分之前就写出完全正确的 rubric。
Benches 2026 — “LLM benchmarks in the era of agents” — Florian Brand (Prime Intellect)
类型：blog + 61-slide talk
链接：https://florianbrand.com/posts/benches-2026
推荐理由：目前很尖锐的一篇 agent 时代 benchmark 讨论。它解释了为什么 benchmark 在 agent 场景中更容易失效：prompt、sampling temperature、grader、harness 等每一层都会影响分数，而且 benchmark 的 ground truth 也经常并不可靠。
建议阅读方式
如果只想快速建立全局理解，可以先读 The Second Half、Eugene Yan 的 eval process 和 Anthropic 的 agent evals。它们分别回答三个问题：为什么 eval 变重要，为什么流程比工具重要，以及 agent eval 和普通 chat eval 有什么不同。
如果已经开始做 eval 系统，建议继续读 Hidden Technical Debt、LLM Evals FAQ、AI Agents That Matter 和 Building on Evaluation Quicksand。这几篇更偏工程实践，会帮助你意识到数据面、控制面、holdout、污染、成本和评估稳定性这些长期问题。
如果关注 benchmark 和验证机制本身，可以重点读 Ofir Press、Jason Wei、EvalGen 和 Benches 2026。这些文章更适合用来思考一个更底层的问题：我们到底凭什么相信一个评估结果？