「a/b测试」为什么别人能做有效的A/B测试，而你不能？

a/b测试

给要做的A/B测试定个小目标，比如先跳过这4个坑。

你听到每个人都大赞A/B测试，它是如何帮助一款产品降低跳出率，增加转化及转化价值，并带来更多的销售。但是，你做的A/B测试却并没有达到人们说的那么神奇的效果。

事实上，不是每个独立访客都会注意到新的购买按钮，你的注册表单仍然会产生零转化。而且，从产品页跳转过来的用户看起来好像没什么变化。困境在于：即使转化上来了，你也知道这是因为时间的累积而不是测试！

尽管你认为A/B测有效，并且有足够的证据来证明它的价值。但问题在于，在设置测试时你就Z在不经意间破坏了你的A/B测试。在这篇文章中，我会告诉你杀A/B测试于无形中的四大误区。

1.运行“快速”测试，难以发现真实问题

你知道，我敢肯定大多数转化率专家听到“快速”这个词都会感到畏惧，但是我猜这也是从客户那里听到的最多的一个词。

关键是：A/B测试不是快速解决问题的灵丹妙药。

如果你想找出那些对转化率有积极影响的页面元素，首先需要研究和理解你的受众，他们对你的商业模式会做何反应，识别造成低转化的潜在问题，最终，提出如何解决它的想法。然后，启动A/B测试来验证它们。这是增加你获胜砝码的唯一真实解决方案。

从另一方面讲，“快速”分割测试着眼于方案而非问题。测试不同的按钮颜色绝不是一个有意义的测试。相反，运行基于数据的测试来分析“添加到购物车”按钮的性能才是有意义的。

2.要相信人为的合理决定限制了你的测试选项

事实上：作为市场人员，我们经常对客户的喜好、信仰以及行为驱动因素做出假设。基于数据，我们试图去猜测什么原因会说服一个人做出购买决定，注册一个邮件列表，或引起其它任何转化。

然而，问题在于，我们缺乏合理依据。

例如，我们根据情绪而非逻辑做决定。南加州大学神经科学教授 Antonio Damasio 对大脑产生情感的区域受损的人群做了一个实验，发现他们不仅无法感觉到任何情绪，而且他们也无法做出决定。

他的课题可以解释这些人群在逻辑上的行为，但实验证明做决定对他们来说是很困难的一件事。

我们经常回避做决定。

例如，我们经常会选择默认选项，因为这意味着根本不用做决定。

Dan Ariely 在他精彩的 TED 演讲中解释了这种行为：Are we in control of our own decision ? ( TED , December 2009)（观看可能需要翻墙）

人们总是很容易接受建议

第一位研究人类行为的心理学家 Walter Dill Scott 写道：“人类被称为理性动物，但毋庸置疑，人类也是建议性生物。人是理性的，但很大程度上都会受别人建议的影响。”

想一想：什么时候你会被朋友或认为有权威性的人那里得到的建议所左右？什么时候你买东西是因为你很信赖的人也买了它？或者去一个度假胜地只是因为你的朋友去过那里？

我们来看看希拉里竞选做的A/B测试中含有的暗示性信息：

1.注意这页里的信息“Thank you”（背景左上角部位弹出），在捐助者捐助前展示，推动募捐。

2.“She’s with……”信息（在背景中同样的地点，左上角弹出）

拥有的信息越多，我们所做的决策越差

奥斯丁大学的研究证明，我们对可用选项的信息越多，越会做出比较差的选择，尤其是从长期结果来看。好吧，但是这根A/B测试有什么关系呢？关系很大。

你可以看到：假设你的客户基于逻辑和理性做决定，那么你为潜在假设所做的试验就越少。

总关注于决策背后的逻辑论证，意味着你很少测试“不常见的”场景。然而，“不常见的”场景可能会比你在注册按钮上做的其它测试带来更加意想不到的结果。

3.忽略科学流程导致测试质量不佳

看：如果一遍又一遍的测试都没能提供任何有意义的结果，那很可能是因为你没有正确的设计试验。或许你只是简单的复制别人的测试。或许，你应该从头开始设计你的测试的最佳实践。

科学的方式是旨在帮助制定，测试和修改可行假设的一套程序。

该流程从观察阶段开始，识别问题并制定可测试的假设。再与研究发现的结果进行分析，得出的结论反过来又成为新的研究和假设的基础。在另一篇文章（公众号里发送关键字“另一篇文章”，查看链接）里我解释了怎么通过科学的方式来设计A/B测试的细节。

但我必须澄清：使用科学方法并不意味着你必须从头拿出你的假设的潜在解决方案。并且，科学的方法应该是运行每一个测试的基础。

4.在错的时间做的A/B测试掩盖了正确的结果

你知道：买家行为变化取决于一年所在的时间。例如，季节会影响到购买行为的每一个变量，想一想黑色星期五时用户的疯狂表现吧。

你的公司也可能在一年的特定时间有不一样的运行状态。在你所在的区域你可能会季节性备货，或者做比平时力度更大的促销和优惠，你可能会发更多的邮件，产出更多的内容等。

不用说，这些行为都将反映在你的A/B测试结果里。因此，你可能不能确定是你的假设起了作用还是购物者的季节性行为引起你所期待的改善。

不是你跟A/B测试没有缘，是相恋在了错的时间。因此，作为一项准则，你应该在自然的商业循环周期里运行重要测试，以得到最客观的数据，比如避免在旺季做测试。

结论

众所周知，A / B测试是提高转换率，降低跳出率，提高销量的好方法。但是它很容易因为你不当的试验设置而遭到破坏。为了避免这样，在设计测试时，你应该注重科学的方法，关注目标群体的情绪心态，最后，避免在不合适的时间做测试。

原文：How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing