结论先行
建议继续观察,不直接上线。B 组转化率更高,但当前样本下证据强度不足,且没有说明是否提前看数。
关键数字
| 组别 | 访客 | 转化 | 转化率 | |---|---:|---:|---:| | A | 10,000 | 820 | 8.20% | | B | 9,850 | 855 | 8.68% |
相对提升约 5.9%。
显著性判断
使用两比例 z 检验近似,双尾 p 值约在 0.2 左右,尚不足以支持“稳定提升”的结论。
风险提示
- 样本量接近但仍需确认分流是否均衡。
- 如果实验中途多次查看并决定是否停止,p 值会偏乐观。
- 需要检查新客/老客、渠道、设备维度是否存在辛普森悖论。
建议
继续跑到预设样本量,并提前固定主指标与停止规则。