setup 是建立自动研究实验配置的 Skill。本文介绍 alirezarezvani/claude-skills 的版本,它确定目标文件、评估命令、指标方向与保存范围,并检查基线。
先确认评估能测到目标行为,降低延迟不能以破坏输出正确为代价。目标文件和命令也要对应真实环境,否则保存了一份配置仍无法可靠比较。
原文有内容和提示词的模型评分器,但 ctr_score 是代理评分,不是实际点击率。测试通过百分比也要保留测试集合,删掉难例可能让数字提高却让验证变弱。
适合在循环实验之前把口径立住。本文未创建实验或运行评估器,脚本实现未展开;报告应保留基线、版本和失败信息,后续循环与多人竞争属于独立流程,配置完成不代表优化已开始。