设计效果检验之道：如何去除其他噪点，让设计因素成为唯一的验证点(2)

灰度发布包括了 A/B Test。和灰度发布不同的是，A/B Test 一般针对两种不一样的设计方案，均分给两个群体的人使用。如针对 A、B 两种设计方案，50% 的用户（QQ 尾号为 0-4）体验到 A 方案，另外 50% 的用户（QQ 尾号为 5-9）的用户体验到 B 方案。

使用灰度发布的好处体现在哪里？它可以确保同一时间内，由不具备明显身份属性差异的随机用户来体验同一个内容和排序下不同设计方案，规避了时间因素、产品策略、用户属性、内容差异，这种情况下得到的数据是相对精准可靠的，灰度发布的验证方式更加有针对性。

若没有条件进行灰度发布或 A/B Test（人力、时间、技术等条件不允许），则可以通过新旧版数据对比。以发布时间为分界点，进行前后数据对比。

灰度发布确保了单一变量的对比，而新旧版对比则可能接受到很多因素的影响，正如上面所列出来的影响因素。但也是有办法做到尽量严谨可靠的。

其中时间因素是影响比较大的，为排除时间影响，可遵循原则如下：

同时还需注意：我们的原则是每次验证一个小点（单一变量），若存在多种变化同时发终生，则结论无法保证严谨。所以多变量是我们在做数据检验时要规避的情况。

为什么要做设计效果检验？在开头已经强调，我们希望数据能更多的被考虑进用户体验设计流程中，辅助设计决策，为业务带来价值同时提升设计效率，而严谨的论证过程可以帮助我们排除其他影响噪点，专注于对比不同的设计方案对数据的影响。当然，数据不是衡量设计好坏的唯一指标，数据也不是设计的目的。

这套设计效果检验方法论经过了一年多的实践，也为我们沉淀了一些较为优质的设计案例，期待未来与各位分享。

作者：Hahn

来自：腾讯ISUX

（编辑：ASP站长网）