之前分享过ABtest的基本原理，有朋友问：如果我不是只有两个版本的AB，而是三个版本的ABC来测试，还能用ABtest的方法吗？ 当然有效！ 只是使用的统计方法改为：方差分析，今天简单分享给大家。
1.多版本和AB版本的区别
如果只比较两个版本的A和B，那么在做假设检验时方差分析和t检验的区别和联系，原假设是：A版本均值/比例=B版本均值/比例。 之后只要能用检验结果推翻零假设，就可以说明AB版本有不同的均值/比例，从而论证哪个版本更好。 相应的统计数据也进行了相应的设计。
当有多个版本的 ABCDE 时，问题会变得稍微复杂一些……因为很可能在一堆版本中，有些有差异，有些则没有。 如果一个一个测试，就得比n次，费时费力。 如何高效完成考试？
2.多版本测试的基本思路
可以使用两步法。
步骤 1：首先进行方差分析，检查这些版本的均值是否相等。
此时零假设为：A版=B版=C版=D版……总之，假设它们都是一样的。 如果假设没有被推翻，那就说明大家的平均值是一样的，根本不需要做第二步。 如果能翻盘，那就看两人的差距了。
第二步：假设第一步检验推翻了原假设，进行第二步检验。
第二步，可以使用fisher LSD方法比较总体均值。
今天先不说第二步检测，把第一步说清楚。
3.什么是方差分析？
方差分析是用来检验多个版本（3个以上）对应的多组数据的均值是否存在差异的方法。 方差分析的统计原理稍微复杂一些方差分析和t检验的区别和联系，朋友们可以简单的记为：用一个F统计量来衡量每组数据中组间差异与组内差异的比值。
当组间差异较大，组内差异较小时，F统计量变得很大，说明这些样本一定来自不同的个体，所以均值不可能相等，推翻null假设（如下图所示）。
四、如何做方差分析
方差分析分为四个步骤：
我们看一个简单的例子：给产品三个版本的ABC，测试不同用户的日留存时间。 对于每个版本，随机选择 6 个随机用户进行测试。 数据如下：
数据求解如下：
那么，可以认为这三组测试结果的均值不同，就可以进行第二步检查了。 想偷懒的同学可以直接认为C版比较差先踢出去。
五、ANOVA扩展
小伙伴们掌握了方差分析的思想之后，就可以进行大量的比较了。 实际上，这种区分N组，测试版本/方法/属性对某个指标的影响的方法，是数据实验的基本方法。 通过不断的实验，可以测试新版本/新方法的有效性。
同时，方差分析还有更进一步的应用。 例如，在这个例子中，很可能不同的用户也有行为上的差异。 需要从用户行为上剔除个体差异（比如让一个人体验三个版本）或者提前找到一些影响结果的因素（比如是否是重度用户），然后比较相似的人组成一个群体。 这些都是进一步设计实验的考虑。
或者，不止一个因素影响了结果。 除了版本的影响，用户的长期使用与运营动作和促销活动有很大关系。 因此，可能需要分析多个因素，此时需要使用更复杂的方法。
总之，没有单一的方法可以征服世界，朋友们，请慢慢听我说。
admin