ab-test-analysis 是整理 A/B 实验结果并给下一步建议的 Skill。它先查假设、分流、样本与观察期,再看主指标、差异区间和不能受损的指标。
转化率变高不一定是方案造成,分流比例异常、样本不足或新鲜感都可能影响。统计显著与业务有用也不同,差异再小都值得上线的说法不成立。
主文的样本公式漏了功效项,不能直接据此证明达到八成功效;检验方法还要适配指标与实验单位。没显著也不等于没有差异,是否延长应按设计决定,不能反复看结果等它变显著。
适合形成有条件的发布、继续或调查建议。主指标赢了仍看收入、体验等约束,结论保留置信区间与假设;本文未分析真实实验,也没有上线变体。