deepeval 是给 AI 应用建立可复跑评测循环的 Skill。它复用或准备数据集、确定指标和测试形态,再运行评测,从失败记录定位改动。
所谓 goldens 是评测样本,不是名字带“金标准”就自动有真答案。生成样本要核材料和期望,模型作裁判的分数也受评测模型与判据影响。
主文区分多轮对话、代理、检索等情况,追踪可帮助找失败发生在哪一步。具体指标、模板与追踪接入另有引用,本文只介绍主流程,不提供未经核验的 API 配方。
适合已有 AI 应用时保存稳定测试与评测条件,再按问题有目的地迭代。固定几轮和几十条样本不证明覆盖生产情况,缺失参数或运行错误也不能当通过;本文未调用模型、上传报告或修改应用。