川卓解释一下 您正在阅读的是【小川拓讲解!】现在网站分析流程系列只剩下两篇文章:这篇和下一篇。 ※未来还将开发其他系列,敬请期待!在上一篇文章(小川卓讲解!网站分析流程3:如何确定改进建议)中,我们讲解了如何对分析得到的见解进行分类,以及如何提出改进建议。
在本文中,我们将讨论何时应使用已提出的改进建议。我们应该检验这个假设吗?为此目的有效利用 AB 测试的关键点是什么?我们想向您解释一下:
网站分析流程4:有效使用AB测试的两点
我相信你们很多人都熟悉 AB 测试本身。这是一种根据假设提出多个提案然后通过让用户决定哪一个是“最佳”的方法来测试它们。我相信有很多公司在内部或与客户一起进行 AB 测试。我开始 AB 测试已经十多年了,直到今天我仍然在使用它。
使用 AB 测试的最大好处是,当您不确定某种措施是否有效时,您可以让您网站的用户为您做出决定。目前有许多免费的 A/B 测试工具可用,例如 Google Optimize,我相信 AB 测试已经在许多公司中广泛使用。
不过我感觉各个公司的利用程度还是有很大差异的。一些公司以随意的方式进行 AB 测试,而其他公司则采取战略性方法并取得成功。
AB 测试如何帮助改善您的网站?以下是充分利用这一点的两点要点。我们鼓励您将它应用到您自己的公司或您与客户的互动中,并思考是否有可以改进的地方。
要点1:您是否应该进行 AB 测试?
在实施任何现场措施之前,请先考虑一下。此举措的内容是否需要进行AB测试?有些情况适合 AB 测试,有些情况不适合。使用以下信息来帮助您做出决定。
■AB测试适用的场景
〇如果要测试设计“元素”
⇒哪个创意更好?
⇒哪种按钮措辞更好?
※进行根据组合效果可能发生变化的测试时*1
⇒ 有三种图案的图像和口号,想要找出最佳组合时
○ 当讨论纯粹是定性问题,声音最大的一方获胜,或者没有得出结论时
– 如果内容可以在屏幕上轻松修改(因为 Google Optimize 等工具只能在屏幕上创建测试模式)
*1 AB测试有多种类型,主要可分为以下三类。 *1中提到的例子是指“多变量测试”。
■不适合AB测试的场景
× 影响不大的改动
⇒ 尝试改变页面底部内容的字体大小
× 不管你怎么想,测试永远不会引起问题的元素
⇒ 在常识告诉你它不会引起问题的情况下,例如从输入表单中删除页脚或页眉(如果你在生产而不是测试中反映结果,你会得到更快的结果)
× 访问量较少的页面或网站
⇒ 首先分配预算和时间来吸引客户
× 实施无法撤销的措施时
⇒ 增加功能或更新网站等措施,即使效果不佳也会实施
当进行 AB 测试时,如果已经 新加坡赌博数据 决定进行 AB 测试,事情往往不会顺利进行。请注意不要记住“我真的应该进行 AB 测试吗?或者说,一开始就实施其他措施不是更好吗?”这个基本问题,因为进行 AB 测试只是目标而已。
我们还来看一些具体的例子。例如,假设您对房产详情页有三种策略(下图中的①至③)。
您认为其中哪些应该进行 AB 测试?如果是我的话,我会在不进行 AB 测试的情况下实现①,但会对②和③进行 AB 测试。
选择措施 1(面包屑链接)是因为它增加了一个新元素,而且我们相信添加它使情况变得更糟的可能性非常小。此外,由于内容不需要尝试多种创意(字符串)模式,因此也不需要对其进行测试。
至于剩下的措施②(现金返还租赁的 甘肃手机号码一览表 诉求语言)和③(咨询的诉求语言),有可能因措辞增多而变得不那么显眼。此外,由于结果可能因创意而异,我们决定还应对措辞进行 A/B 测试。
这样,对于每个措施,您都应该在进行 目标网页创建引人注目的口号时可以使用的技巧 之前确定是否需要进行 AB 测试。
要点2:您是否过于关注数字的细微波动而忘记验证您的假设?
在进行 AB 测试时,总是会出现一些话题,比如“需要多少次访问或转化”以及“多大的差异才是显著的”。我见过一些案例,由于人们过于陷入这种讨论(因为不同的人有不同的意见),测试已经停止。我们将在下一篇文章中介绍我们的策略评估方法。
此外,人们常常会因为数字的微小变化而感到兴奋或不安,以便以某种方式向上级或客户传达结果。可能有一天一种模式会比另一种模式更好,比如 101% 的改进,也可能有一天一种模式会比另一种模式更好。我认为关注这种微小的变化本质上是没有意义的。
进行AB测试时,请注意以下两点:
1)如果成功与失败有明显的区别,那将是显而易见的。
老实说,你不能指望那些结果每天都在变化的措施能带来很好的结果。我个人进行并支持各种 AB 测试,但我认为其中只有 20% 能产生明确的结果,这是一件好事。
大多数情况下都是这样的:“这看起来不错,但我不确定。”进行 AB 测试的人应该能够直观地通过数字判断何时存在明显差异,何时没有明显差异。当然,为了积累大量测试,我们无法立即做出决定,但我们应该能够在几天内确定一个可行的测试模式。