如何使用AB测试，提高产品效率？

[微风]引言[微风]

AB测试是一个简单的对照实验，对用户进行随机测试来比较同一产品的两个版本，最后分析结果，来确定该产品的哪个版本效果最佳。

AB测试证明了潜在的变化能够提高效率，数据能够驱动决策，同时还能带来积极的影响。

现今的管理者们只有在证据确凿的情况下才愿意做出决定，别忘了，这年头全靠数据。

当然，这也是一件好事，因为当今获取信息的方式很多。

AB测试是最常见的方法之一（特别是在在线设置中）。

那我们如何才能准确地进行这个实验呢?

接下来，我会从AB测试的前、中、后期进行一一进行介绍。

​​[微风]AB测试前[微风]

​[浮云]01​​ 选择要测试的变量（variable）

虽然你可能需要测试很多变量，但是，为了能够评估某个被修改的功能，

建议你分离出一个自变量(inindependent variable)，并对其性能进行测量，

不然，你无法确定到底是哪个变量导致了变化。

变量可以是一个新按钮，新布局或者一个新图像。

​[浮云]​​02 确定测试目标

很可能你会需要测量多个指标，但我还是建议你选择一个主要指标来关注，并把它作为因变量（dependent variable）。

同时，你需要思考在桶测试（the Bucket Test）结束后这个变量的结果。

甚至你还可以设置一个假设，并根据这个预测检验你的结果。

​[浮云]​​03 创建对照和变量

有了自变量，因变量（目标或指标）和所需结果，你就可以利用这些信息来设置对照组（control），通常是一个正在使用的产品。

如果你要测试的是一个网页，那么对照组就是现在没更改过的网页。

接着，还是以网页为例，设置网页的变量。比如一个新的布局，新的图像等…

​[浮云]​​04 随机划分样本组

对于那些你能更好控制用户的测试，最好是对两个或多个用户进行分类和定位，这样才能获得更有说服力的结果。

具体如何操作，取决于AB测试中你使用的技术和软件。

有些商业软件可以帮助你完成这些任务，比如，HubSpot会自动分流你的变体，

这样，每个变体都会获得一个随机访问者的样本。

​[浮云]​​05 确定样本容量

确定样本容量也取决于你用到的AB测试工具，以及运行的对比测试（Split Test）类型。

如果你要测试的对象不限数量（比如网络或应用程序），那么测试运行的时间会直接影响到样本容量。

所以，你需要让测试运行的时间足够长，才能获取大量数据，

否则很难判断“对照”（Control）和“变体”（Variation）之间是否存在明显的统计差异。

​​​[浮云]06 决定结果的显著性

一旦选择了目标指标（因变量），就要考虑变化的显著要达到多大，才会选择“变体”（Variation），而不是保持“对照”（Control）。

变化越剧烈，我们对过程中的科学性要求就越低。

而变化越具体(如改变按钮颜色、新图像等)，测试就应该越科学，因为这些变化可能不会对转换率产生显著的影响。

​

​[浮云]​​07 单次运行一个测试

同时测试的多个事项会让结果复杂化。

比如，如果你对一个登陆页面进行AB测试，

同时又对一个邮件活动进行对比测试（Split Test），

那你怎么能知道是哪个变化导致了潜在用户的增加呢?

​

​​[微风]AB测试中[微风]

​[浮云]08 使用AB测试工具

要想在网页或邮件中做AB测试，你需要用到工具。

其中，最受欢迎的两个是HubSpot Enterprise和Google Analytics。

​[浮云]​09 同时测试两种变量

当你运行对比测试（Split Test）时，需要同时运行“对照”（Control）和“变体”（Variation），否则你可能会怀疑你的结果。

但也有例外，比如在你测试的时候，想找到最佳发送电子邮件的时间，这就不需要同时进行。

​​[浮云]10 保证测试时间充足

确保测试的运行时间足够长，才能够获取充足的样本容量。

否则很难判断这两个版本是否存在明显统计差异。

获得有统计学意义的结果可能需要几小时、几天或几周。

而获得这一结果所耗的时间，很大程度上取决于有多少流量，或者有用户在使用你的网页或应用。

​[浮云]11 征求真实用户的反馈

AB测试与定量数据之间有很大关系，但这对于理解人们的行为并不会有太大帮助。

征求他人意见最好的方法，就是通过投票或民意调查。

你可以在自己的网站上添加一个离站调查（exit survey），询问用户为什么没有点击某个行动召唤（call to action），

或者在感谢页面上添加一个调查，调查用户为什么会点击某个按钮或填写表格。

​[微风]AB测试后[微风]

​[浮云]​​​12 专注于你的目标指标

虽然你可能会测量多个指标，但是在进行分析时，还是要把重点放在主要的目标指标上。

​[浮云]​​13 衡量结果的显著性

分析数据，并确定哪个变体的效果更好，“对照”（Control）还是“变量”（Variation）。

之后，再评估你的结果有没有统计意义。

换句话说，就是它们能够充分证明变体的合理性吗？

​​[浮云]14 视结果量力而行

如果一种变量比另一种变量更有统计学优势，那么你就达到了目的。

之后，可以在平台中通过禁用丢失变量（losing variation）来完成测试。

如果两种变量都没有在统计上达到很好的效果，你就会明白你测试的变量并不会影响结果，这时，一定要把测试标记为不确定。

在这种情况下，坚持测试对照组，或运行其他测试。

你可以使用这些失败的数据来帮助你确定新测试中的迭代。

​[浮云]​15 计划下一次AB测试

刚刚完成的对比测试（Split Test）可能会帮助你发现一些提升营销内容、网页或应用效率的新方法，

但是，不要止步于此，因为你还有很多提升空间。

要留心并把握机会，提高转化率、增加潜在客户。

你需要确保你设置的测试是合理的，也要知道如何去评估测试的结果，

这样才能自如运行AB测试，获得出色的结果。

感谢你的阅读！