建优化实验用这Skill定基线

交互式设置新的 autoresearch 实验。

setup 是建立自动研究实验配置的 Skill。本文介绍 alirezarezvani/claude-skills 的版本,它确定目标文件、评估命令、指标方向与保存范围,并检查基线。

先确认评估能测到目标行为,降低延迟不能以破坏输出正确为代价。目标文件和命令也要对应真实环境,否则保存了一份配置仍无法可靠比较。

原文有内容和提示词的模型评分器,但 ctr_score 是代理评分,不是实际点击率。测试通过百分比也要保留测试集合,删掉难例可能让数字提高却让验证变弱。

适合在循环实验之前把口径立住。本文未创建实验或运行评估器,脚本实现未展开;报告应保留基线、版本和失败信息,后续循环与多人竞争属于独立流程,配置完成不代表优化已开始。

分类:AI 与 Agent

来源仓库:alirezarezvani/claude-skills

适合用来做什么

  • 开始设置一个新的autoresearch实验。
  • 收集并配置实验的评估指标。

安装 setup

npx skills add https://www.iskills.cc/skills/alirezarezvani/claude-skills/setup/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 setup 的用途与原始说明

浏览全部 Skill 指南