多元测试 VS A/B测试有什么不同？Multivariate vs AB testing: what’s the difference?

结束猜想的工作方式吧？你需要开始利用多维测试和A/B测试了，你要知道市场有时候真的很想魔法，特别是它在做消费转化的时候，增加销量，增加点击和注册的时候回更加神奇。
但是，与你想象的不一样，其实这是一门学科。要取得市场成功，一般有许多能改变的因数，测试就是其中一个。

测试是设计和运营的关键要素，它可以帮助他们做产品设计决策并提供反馈信息，我们可以利用这些反馈信息进行产品优化迭代，从而实现整体业务目标。

如果没有测试这个环节，很多东西你就只能靠猜测，如果你想真正解决问题，那么你必须要有最够的信息才行。在用户体验设计的世界里，涉及到测试的两个术语是：A / B测试和多变量测试。在整个这篇文章中，Justinmind将探索这两种测试策略，这样您的决策会更具权威性。

什么是A/B测试？

A/B 测试就是拿出两个不同变量的方案，同时发布后测试，看看那个数据更好。
变量可以是任何细微改变，如：间距、按钮颜色 和 布局的位置。

通常情况下，您会希望测试同一件事物的两种不同版本。 带有两个不同banner大图的着陆页，电子邮件中的两个主题行或两个不同颜色的购买按钮等。 如果测试多个变量，则A / B测试无法高效工作。 我们将介绍如何尽快完成。

假设你有一个主页，并且它不会像你想的那样好。

你用过热图之类的工具，发现人们鼠标悬停在按钮或行动按钮上，但是不点击，这种感觉是不是很差？

为了改变这种情况，你决定设计一个新的方案来测试效果，您可以使用A / B测试，来了解哪些方法可行，而不是凭感觉。

其实很简单，就是给2批不同的人两套不同的设计方案，如果一个转化率明显好于另外一种，那么你就找到了答案。你是怎么知道在这种情况下，哪个表现更好？哪个点击更高呢？

A / B测试的常见用途

A / B测试是一种相对便宜的研究方法，因此它是一种流行方式，可用于找出评估您的网站或移动应用设计好坏的关键信息。

A / B测试可以帮助您验证您的任何假设。 如果您的“购买”按钮为绿色，但是你阅读了一篇关于红色按钮更容易激发购买的文章，那么你可以在您自己的受众群体上测试该假设。

对A / B测试感到好奇的是，你最终可能会看到违反直觉的信息。 拿Vendio来说，去掉注册表后，其签名增加了60％。 支付你的假设来测试是值得的。

进行一个有效的A/B 测试你经常要做的事情：

• 测试网站或APP的版本 Test versions of a website
• 标题 Headlines
• 行动按钮（购买按钮）Call to action buttons
• 整个产品的图形图像 Graphic imagery used throughout your product
• 销售相关说明 Sales copy and descriptions
• 页面结构 Page structure
• 表格（形式）Forms
• 落地页 Landing pages
• 导航 Navigation
• 价格Pricing

为什么你需要给你的设计做个A/B testing？

现在我们知道为什么A/B测试是商业和设计的一个好实践。但是开展自己的A/B测试到底有什好处呢？看看以下重要原因：

A/B测试可以帮助你做决定，如果您是一名设计师，而且您正在和一个内容团队（或者是产品技术团队）合作，你们对设计元素布局有不同看法，那么A/B测试将为你们快速解决分歧，也许你正在思考到底是弹窗广告好还是列表中插入的广告效果好，你可以通过A/B测试找到有力证据。

A/B测试成本极低。在优化用户体验上面，你只是测试不同替代方案。 把它们扔到你的服务器上，使用Optimizely或Crazy Egg等软件，然后你就完成了。 易于实施，具有成本效益和可操作性的有点 – 你有什么理由不爱呢？

A/B测试可让您深入了解用户行为。 A / B测试是衡量用户行为的核心。 如果您运行测试，并且发现设计A比设计B的性能好得多，那么您可以放心地使用设计A方案，因为您的决定是有证据支持的。

什么时候使用A/B测试最合适？

A/B测试的关键在于用它测试衡量事物有一个明确的目标和标准。 雅各布尼尔森建议，可衡量的点包括：

• 电商网站的销量 Sales for an ecommerce site
• 电子邮件订阅数 Users subscribing to an email newsletter
• 网银在线开通量Users opening an online banking account
• 用户下载量 Users downloading a whitepaper

A /B测试的一个重大缺点是，如果用户样本量不够，数据将没有意义。

当然，像亚马逊这样的公司可以在他们的主页上执行数百次A/B测试并获得实际结果。  但是，例如一个小的面包店网站呢？ A/B测试如何帮助他们？ 它确实会但很难实现强大的样本量，不过，谢天谢地，还是有一些方法的。

您需要时间做A/B测试。 这样的计算器可以真正缩短你做A/B测试的时间。

每天有250位独立访问者的小公司希望将转化率提高10％，至少需要162天才能看到显着的结果。 初创公司通常时间紧，让他们等待近200天是不可能的。

A/B测试的另一个问题是，如果您没有正确定义您的目标群体，或者您处于产品的早期阶段，那么您可能对客户了解不多。 如果你不确定他们是谁（只是尝试创建一些用户角色），那么你最终可能会产生误导性的结果。

交互原型和测试

测试不一定要等到上线。 事实上，您可以使用Justinmind实时验证不同的设计理念。如果您在设计原型的阶段就开始做测试，从长远来看，这将大大节约时间减少返工。

什么是多元（多变量）测试？

现在我们引入另一种测试方法：多变量测试。 它是什么？ 这有点像A/B测试，但更复杂一点。

尽管A / B测试被用来一次测试一个变量的假设，但是多变量测试被用来测试被修改的多个变量的假设。 这样做是为了揭示哪些变量组合在所有可能的组合中表现最好。

为了简化：多变量测试会改变多个变量（例如，较长的版本和一个巨无霸广告图像与两个图像和简短的版本）并找出哪一个出来效果更好。

多元测试可以以与A / B测试相同的方式使用，但可以更全面，因为它会发现实现您的目标的理想组合。 不是测试一个变量，而是在一个页面上测试多个变量。

多变量测试最明显的好处是您可以更好地了解页面上的哪些元素，现在或未来真正有用。

我应该使用多元测试，还是A/B 测试呢？

您可能会问自己是否应该使用A / B测试或多变量测试。 好问题。 答案？ 这取决于你的需求，如果你想要快速获取有意义的结果，那么A / B测试将是你最好的选择。 A / B测试非常有效地告诉你哪两个变量你应该做。现在，如果您的网站有很多流量（需要大量流量才能有效使多变量测试），那么多元测试可能会提供更多用途。

一般来说，A / B测试需要进行大的修改，而多元测试则用于小优化。

什么时候做多元测试？

如前所述，多变量测试适用于测试页面上较小的元素。 多变量测试的其他常见用途包括：

• 在网站上测试文字和图像Testing both text and imagery on a website
• 测试“购买按钮”上的文字和色彩 Testing both the text and color of CTA buttons
• 测试输入框和行动按钮的数量 Testing the number of input fields and CTAs together

多元测试有什么缺点呢？

多元测试很复杂，最好由经验很丰富的人来完成。做这个测试的时候流量的大小问题要考虑。

通过A / B测试，您可以简单地进行50/50分割以测试某些内容，但对于多变量测试，您需要将流量分为四分之一，六分之八，八分之一以及更多。 如果没有较大的流量，这可能很难实现。

A/B测试和多元测试的资源与工具：

网上有大量的资源，您可以使用它来开始A / B和多变量测试，并改进您的测试过程。 为了完善这篇文章，这里有一些我们的珍藏：

• Optimizely — 用户体验优化平台Customer experience optimization platform.
• Crazy Egg —热图可以告诉你用户在光标处悬停的位置 Heat maps can tell you where your users are hovering with their cursor.
• Google Analytics — 网站分析深入了解  Web analytics for deep insights.
• Adobe Target —实时测试组合并找到最优的答案 Test combinations in real time and find the winning answer.
• Kissmetrics —行为和参与分析平台Behavior and engagement analytics platform.
• UserVoice —获取反馈以影响产品路线图  Get feedback to influence product roadmaps.
• Kampyle —用户心声平台  Voice of customer platform.
• HotJar —热点地图，访客录制和转换渠道  Heatmaps, visitor recordings and conversion funnels.
• Zopim — 在线聊天与客户互动 Live chat to engage with customers.

A / B和多变量测试指南和手册：

• VWO Ebooks — 一个优化和测试和网站、应用的平台，并有大量有用的指南和电子书。
• HubSpot A/B testing checklist — HubSpot’s – 必要的A/B testing 清单。
• A/B Testing Statistics: A Guide for Non-Mathematicians — 全面降低A / B测试和初学者的统计数据的难度。
• Beginner’s guide to A/B testing by Kissmetrics — 测试全能专家。

总结

优化设计并提升网站和移动应用的用户体验是我们的基础目标。 A / B测试和多变量测试只是帮助我们实现这一目标的两种方式; 两者都是可靠的方法论，可以让我们创造更好的设计。如果使用得当，他们可以为您提供有价值的见解，从而可以与您的用户建立更好的联系。

转载注明：IAMXK
原文地址：YUX