看A/B结果用这Skill核实验

分析 A/B 测试结果的统计显著性。

ab-test-analysis 是整理 A/B 实验结果并给下一步建议的 Skill。它先查假设、分流、样本与观察期,再看主指标、差异区间和不能受损的指标。

转化率变高不一定是方案造成,分流比例异常、样本不足或新鲜感都可能影响。统计显著与业务有用也不同,差异再小都值得上线的说法不成立。

主文的样本公式漏了功效项,不能直接据此证明达到八成功效;检验方法还要适配指标与实验单位。没显著也不等于没有差异,是否延长应按设计决定,不能反复看结果等它变显著。

适合形成有条件的发布、继续或调查建议。主指标赢了仍看收入、体验等约束,结论保留置信区间与假设;本文未分析真实实验,也没有上线变体。

分类:营销增长

来源仓库:phuryn/pm-skills

适合用来做什么

  • 分析这个A/B测试的统计显著性。
  • 这个测试的样本量是否足够?

安装 ab-test-analysis

npx skills add https://www.iskills.cc/skills/phuryn/pm-skills/ab-test-analysis/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 ab-test-analysis 的用途与原始说明

浏览全部 Skill 指南