google-agents-cli-eval 用于评估代理是否真的完成任务、工具调用是否合理、回答是否可靠以及是否遵守安全要求。它把“我刚才试了一次,似乎可以”与可重复的行为评估区分开来。
开始时先准备 1–2 个核心案例,使用 `agents-cli eval run` 生成轨迹并评分;失败后查看 JSON 或 HTML 中每个案例的指标和评审理由,再决定是修代理指令、工具描述、编排逻辑还是数据集。任务成功、轨迹质量、工具使用质量、最终回答质量和幻觉检测要按目标选择,不要用一个指标包打天下。
修完后用 `eval compare` 对比前后结果,并留出一部分案例最后才评估,防止只对着已看过的题目拟合。LLM 输出不稳定时,应该用 rubric 和合适的评审指标处理,而不是在 pytest 里断言回答必须包含某句固定文案。