测AI用这Skill追失败证据

为 AI 应用添加评估测试并根据失败结果迭代改进。

deepeval 是给 AI 应用建立可复跑评测循环的 Skill。它复用或准备数据集、确定指标和测试形态,再运行评测,从失败记录定位改动。

所谓 goldens 是评测样本,不是名字带“金标准”就自动有真答案。生成样本要核材料和期望,模型作裁判的分数也受评测模型与判据影响。

主文区分多轮对话、代理、检索等情况,追踪可帮助找失败发生在哪一步。具体指标、模板与追踪接入另有引用,本文只介绍主流程,不提供未经核验的 API 配方。

适合已有 AI 应用时保存稳定测试与评测条件,再按问题有目的地迭代。固定几轮和几十条样本不证明覆盖生产情况,缺失参数或运行错误也不能当通过;本文未调用模型、上传报告或修改应用。

分类:AI 与 Agent

来源仓库:confident-ai/deepeval

适合用来做什么

  • 对这份市场分析报告进行深度评估。
  • 分析这组用户数据的潜在趋势和异常。

安装 deepeval

npx skills add https://www.iskills.cc/skills/confident-ai/deepeval/deepeval/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 deepeval 的用途与原始说明

浏览全部 Skill 指南