以今日头条为例，详述数据思维驱动产品设计的方法论(5)

六、如何低成本完成有效A/B测试

初创团队可能没有太多资源开发多个版本进行多渠道测试，一些大公司也不会如同今日头条专门设计一个A/B测试系统，那么如何在没有很多预算的情况下完成简易有效的A/B测试呢？首先，要理解A/B测试的原则，其次，一定要躲过一些坑，最后，就是根据实际情况确定测试方案（开发参与实现方案讨论）。

1、A/B测试原则

（1）多方案同时段并行测试；

（2）测试方案只有一个唯一变量；

（3）用户行为数据收集；

（4）定义核心指标。

2、A/B测试注意事项

（1）一定要是单变量。如果两个版本，每个版本有 2 处不同，最终分析的时候很难确定是哪个优化导致的指标变化。

（2）统计置信度。受到样本量影响（样本太少，样本代表性）；置信水平（A方案49%，B方案51%，可能数据分流导致的偏差所致，分流有偏造成的影响）

（3）设置对比观察数据组，即没有任何调整的情况各项数据指标如何，用于实验效果对比分析。

3、实践方法

（1）从测试页面类型分类

• 原生功能A/B测试。选择渠道流量类似的小渠道进行小渠道发版测试，确定方案后，在主流渠道发版A/B测试。
• WAP/H5 页面A/B测试。通过后端或前端控制，进行A/B测试，具体测试流程见下文：A/B测试实践全总结
• 营销活动的A/B测试。通过短信、站内消息或公众号唤醒用户，可以进行用户分桶后批量通知，观察后续用户行为操作。或是通过活动banner引导入活动详情页，通过活动页引导的A/B测试与WAP页面类似。

（2）从测试时间点分类

• 实时分流测试。实时分流测试需要开发参与，进行服务器分流或数据库分流测试，并且进行数据埋点，用于用户行为分析。
• 定性后向分流测试。从历史数据中筛选出测试用户组和对比观测用户组，数据选择需要足够样本量，否则测试结果的置信度会很低，这种后向通知模式比较容易执行，但是并不适用所有场景，常用语召回用户，活动通知使用，通过短信和微信服务号/订阅好通知消息进行唤醒。

样本量足够的情况下，可以考虑实验组数据内部再做分组，如同今日头条系统实现的部分，观察用户行为波动性，保证测试结果置信度更高。

4、案例实操：P2P平台用户投资引导A/B测试

我们以P2P平台为例，假设P2P平台月新增 1 万注册用户， 9000 用户注册未投资，以往通过短信告知用户下发投资卷召回用户，效果非常不明显，现在将 9000 用户随机分成 3 组，每组 3000 用户，分别是 1 组（对比观测组）， 2 组（红包召回组）， 3 组（话费召回组），短信文案知识红包和话费区别。观察三组用户在短信发出后一天内的行为变化，核心指标定为登录APP行为。

红包和话费充值初期数量不会很大，可以考虑设计成手动下发，如果用户投资则固定时间充值，无需相应开发。

（编辑：ASP站长网）