Agent 评测思考：为什么不能全信 LLM-as-a-Judge？

在负责 Cortex-Eval 评测平台从 0 到 1 的过程中，一个最深切的体会是：不要试图用单一裁判解决所有问题。

很多人在做 Agent 评测时，喜欢将整段会话打包扔给 GPT-4 或 Claude 打一个 1~5 分的总分。但真实业务落地中，这种做法有两个致命弱点：

1. 安全违规被全局高分掩盖：一个回答语气极好、解释详尽的 Agent，如果在未授权情况下擅自改写了用户的主日程，LLM Judge 可能会因为回答体验好给出 4 分，但从产品底线看这是 0 分故障。
2. 文本匹配又会误杀合理表达：如果退回到传统字符串或正则匹配，模型稍微换个同义词或调换口播语序就会被判定为失败。

我的解法是“分层裁判”：

• 硬底线交给代码断言：接口 Schema、工具入参准确性、敏感写操作的前置确认，必须由硬代码进行二进制判定（Pass / Fail），不讲情面；
• 软表达交给 LLM Rubric：事实一致性、信息完整度、语气自然度，拆解为独立 Rubric 分维度评分；
• 安全红线独立一票否决：不参与加权平均，触碰即阻断发版。

评测不是给模型打一张“看起来不错”的成绩单，而是为业务筑起一道可归因、可验证的确定性契约。