适用场景
- 新版落地页转化高了 2 个点，不确定是不是噪声
- 样本量不够就想下结论，被数据同事拦住
- 实验结果被质疑，需要一套能讲清的方法
PROMPT
新版落地页上线两周，注册转化从 8.1% 涨到 9.4%，团队想直接全量。要先判断这是不是真的，用它。 【需求】 1 业务问题是检验新版落地页是否真的提升了注册转化 2 数据类型是截面数据，A/B 两组各 5000 人 3 A 组转化 405 人，B 组转化 470 人 4 可接受置信水平 95% 5 需要说清方法和前提，不要只给一个 p 值 【输出要求】 1 推荐适用的检验方法，说明为什么选它、前提假设是什么 2 判断这个样本量是否够，给出最少需要多少人的估算 3 列建模或检验步骤：分流校验、检验、效应量、结论 4 给评估指标建议，p 值、置信区间、效应量各怎么解读 5 提 3 个常见陷阱，包括反复偷看数据提前下结论、多重比较、数据泄漏 6 结论要写成「能不能全量」的明确建议，而不是模棱两可