关于 A/B 测试

1

Q：什么是A/B测试？A：A/B 测试作为互联网企业的核心增长手段之一，其价值已在实际应用中被多次验证。它通过为用户线上业务旅程制定两套或多套方案，在保证各套方案对应用户群的特征相同（相似）的情况下，观察关键的效果指标的差异，并运用科学的统计学检验来判断哪个方案更加有效，从而帮助企业做出更科学的决策，驱动精细化用户增长。2

Q：哪些场景可以使用A/B测试？

A：A/B测试通常应用在产品正式迭代发版阶段，将Web或App界面/流程以同一个目的制定两个或多个方案，在同一时间维度，将用户流量对应分成若干组，在保证每组用户特征相同或相似的前提下，展示给用户不同的设计方案，收集各组用户的体验数据和业务数据，最后分析评估出最优版本，驱动决策落地。比如：UI、文案层的A/B测试；信息架构的A/B测试；流程交互的A/B测试；功能范畴的A/B测试。

3

Q：如何选择A/B测试平台？

A：参照Google重叠试验框架——更多、更好、更快地试验，并结合服务数十家客户的实践，我们从不同维度总结出企业选择A/B测试平台的标准：

功能：支持丰富的试验人群定向和指标管理配置，同时进行多个试验的可扩展性、灵活性

性能：A/B测试的性能越高，对实际业务造成的延迟越小，C端客户的体验越好

稳定：A/B测试平台要保证足够高的SLA，A/B故障不应该影响正常业务运行

效率：降低试验的实施和分析成本，通过标准化的试验指标计算快速发现、终止不符合预期的试验

易用：降低试验的实施门槛，帮助没有A/B测试基础的小白快速上手、避免踩坑

4

Q：A/B测试怎么做？

A：可以从建立假设、确定评价指标、设计试验、运行试验并获取数据、结果分析、最终决策六大环节，顺利落地A/B测试，为客户带来价值。

5

Q：A/B测试如何实现流量复用？

A：A/B测试需要基于一定样本量才能有效体现结果，但对于业务流量较小的企业来说，很难确定多个试验的效果是否会相互影响，因此无法同时上线多个试验。企业可以采用正交分流，实现同一试验层内的流量互斥，不同试验层内的流量正交，达到流量复用的目的。

6

Q：如何降低A/B测试的延迟？

A：公网传输耗时是App使用过程中不可避免的，企业要想在A/B测试期间降低延迟，根本在于降低分流服务的处理耗时和规避试验请求的公网传输耗时。

7

Q：A/B测试如何建立假设？

A：A/B测试最核心的原理是假设检验。我们在建立假设的过程中需要注意两点：第一，A/B测试属于因果推断，所以需要先确定原因和结果；第二，假设必须是可衡量的，需要有相应的评价指标来检验假设是否成立。

8

Q：如何通过置信区间法评估A/B测试的试验结果？

A：置信区间法是企业评估A/B测试结果显著性的常用方法。置信区间是一个范围，最常见的是95%的置信区间。也就是说，对于一个随机变量，95%的概率包含总体均值的范围，就叫做95%的置信区间。也可以简单理解为总体数据有95%的可能性在这个范围内。

在A/B测试中，我们会计算两组指标的差异值，如果计算得出的差异值置信区间不含0，那么就可以拒绝零假设，认为两组结果差异显著；反之则接受零假设，认为两组结果差异不显著。

9

Q：产品A/B测试怎么做？

A：以游戏产品为例。在游戏产品研发与运营过程中，企业可以通过A/B测试工具测试美术设计，如按钮用什么颜色、什么形状，NPC用什么造型、技能特效、抽卡表现等；测试新手引导，调整新手阶段的节奏、难度和特定的关卡设计；测试界面布局，如商城界面布局，包括顺序、大小、颜色和边框等；测试产品定价，确定哪些定价的硬通货或者礼包对玩家更有吸引力；测试变现入口，确定合适的变现入口，使得既可以获得可观的收益又不影响玩家体验；测试玩法机制，找到更吸引玩家的玩法，如调整PVE通关奖励领取方式能否提升玩家体验深度，副本增加随机隐藏BOSS能否吸引玩家再次挑战，PVP不同匹配策略对玩家参与积极性有什么影响。