别凭感觉说代理好用

帮你评估和测试代理。

google-agents-cli-eval 用于评估代理是否真的完成任务、工具调用是否合理、回答是否可靠以及是否遵守安全要求。它把“我刚才试了一次,似乎可以”与可重复的行为评估区分开来。

开始时先准备 1–2 个核心案例,使用 `agents-cli eval run` 生成轨迹并评分;失败后查看 JSON 或 HTML 中每个案例的指标和评审理由,再决定是修代理指令、工具描述、编排逻辑还是数据集。任务成功、轨迹质量、工具使用质量、最终回答质量和幻觉检测要按目标选择,不要用一个指标包打天下。

修完后用 `eval compare` 对比前后结果,并留出一部分案例最后才评估,防止只对着已看过的题目拟合。LLM 输出不稳定时,应该用 rubric 和合适的评审指标处理,而不是在 pytest 里断言回答必须包含某句固定文案。

分类:AI 与 Agent

来源仓库:google/agents-cli

适合用来做什么

  • 如何使用Google Agents CLI工具进行评估?
  • 请提供Google Agents CLI工具评估的最佳实践。

安装 google-agents-cli-eval

npx skills add https://www.iskills.cc/skills/google/agents-cli/google-agents-cli-eval/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 google-agents-cli-eval 的用途与原始说明

浏览全部 Skill 指南