本文内容：
01 什么是 A/B 测试？
A/B 测试（也称为拆分测试或桶测试）是一种将网页或应用程序的两个版本相互比较以确定哪个版本性能更好的技术。 AB 测试本质上是一种实验，其中随机向用户显示页面的两个或多个变体，并通过统计分析确定哪个变体对于给定的转化目标（例如点击率等指标）表现更好。
02 A/B测试工作原理
在 A/B 测试中，您可以访问网页或应用程序屏幕并对其进行更改以创建同一页面的第二个版本。 这种修改可以像单个标题或击键一样简单，也可以是整个页面的重新设计。 然后，一半流量显示页面的原始版本（称为控件），另一半显示页面的更改版本（称为变体）。
当用户访问页面时，如上图中箭头所指的黑色按钮（控件）和黑色按钮（变体）所示，可以利用埋点收集用户点击行为数据，并通过埋点进行分析统计引擎（用于 A/B 测试）。 然后，可以确定这些修改（变体）对给定指标（此处为用户点击率 CTR）是否有积极、消极或没有影响。
实验数据结果可能如下：
03 A/B测试的目的是什么
A/B 测试允许个人、团队和公司通过用户行为结果数据不断调整他们的用户体验。 这使他们能够建立假设并更好地理解为什么单个变化元素会影响用户行为。 这些假设可能被证明是错误的，即他们个人或团队对特定目标的最佳体验的看法在 A/B 测试的帮助下被证明对用户来说是不可行的，当然也可能被证明是正确的。
所以A/B测试不仅仅是为了解决发散比较。 可以持续使用A/B测试来不断改善用户体验并提高某个目标，例如随着时间的推移转化率。
例如，一家 B2B 技术公司可能希望通过活动登陆页面提高其销售线索的质量和数量。 为了实现这一目标，团队将尝试对标题、视觉图像、表单数组、号召性用语和页面的整体布局进行 A/B 测试。
一次测试一项更改可以帮助他们确定哪些更改对访问者行为产生影响，哪些更改没有影响。 随着时间的推移，他们可以结合整个实验中多个积极变化的功效，以证明变体相对于对照的可测量的改进。
这样产品开发人员和设计人员就可以使用 A/B 测试来演示新功能对用户体验变化的影响。 只要目标明确、假设明确，用户参与度、产品体验等都可以通过A/B测试来优化。
04 A/B测试流程
确定目标：目标是用于确定变体是否比原始版本更成功的指标。 它可以是按钮点击的点击率、产品订单链接的打开率、电子邮件注册的注册率等。 创建变体：对原始版本的元素进行所需的修改地点。 它可以更改按钮的颜色、交换页面上元素的顺序、隐藏导航元素或完全自定义的内容。 生成假设：一旦确定了目标，您就可以开始生成 A/B 测试想法和假设，以统计分析它们是否会优于当前版本。 数据收集：针对指定区域的假设收集相应数据，进行A/B测试分析。 运行实验：此时，您的网站或应用程序的访问者将被随机分配一个对照或变体。 测量、计算并比较他们与每种体验的交互，以确定每种用户体验的性能。 分析结果：实验完成后，就该分析结果了。 A/B 测试分析将显示两个版本之间是否存在统计上的显着差异。
无论实验结果如何，都需要将实验结果作为学习经验，生成未来可以测试的新假设影响网站优化的程序有哪些，迭代优化应用元素或网站的用户体验。
05 A/B测试简单示例（结合Python实现）
1. 示例背景说明
某公司的“猜你想看什么”业务集成了一种新的推荐算法。 新的推荐策略算法开发完成后，需要在全流量上线之前对新的推荐策略的质量进行评估。 所采用的评价方法是A/B测试。 方法是从全量中采样两个小流量，分别使用新的推荐策略分支和旧的推荐策略分支。 通过比较两个流程下的指标（这里是通过用户点击来判断），可以评估新策略的有效性。 不好，然后判断新策略是否适合所有流量。
2. A/B 测试步骤示例
3. 分析结果（Python）
在python中使用scipy.stats.ttest_ind对两组数据做双边t检验，结果比较简单。 然而，当进行小于或大于的单边测量时，需要进行一些处理才能获得正确的结果。
from scipy import stats
import numpy as np
import numpy as np
import seaborn as sns
A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18])
B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8])
print('策略A的均值是：',np.mean(A))
print('策略B的均值是：',np.mean(B))
复制
Output:
策略A的均值是：6.416666666666667
策略B的均值是：9.75复制
显然，策略B的均值小于策略A的均值，但这是否意味着策略B能够带来更多的业务转化呢？ 或者只是一些随机的激励造成的。
我们想要证明新开发的策略B具有更好的功效，因此我们可以分别设置原假设和备择假设：
H0：A>=B
H1：A < B
scipy.stats.ttest_ind(x,y) 默认验证 x.mean()-y.mean() 的假设。 为了得到结果中的负数，计算如下：
stats.ttest_ind(B,A,equal_var= False)
复制
output:
Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)
复制
根据 scipy.stats.ttest_ind(x, y) 文档，这是双边测试的结果。 为了得到单侧检验的结果，需要将计算出的p值除以2，得到单侧结果（这里阈值为0.05）。
找到pvalue=0.13462981561745652，p/2 > alpha(0.05)，所以无法拒绝这个假设，暂时也不能认为策略B能够带来更多的用户点击。
06 A/B测试注意点
优先级：通过低成本、小流量实验，推广至全流量用户。 并行性：验证不同版本、不同方案时，需要注意其他条件一致。 分离科学与数据科学：分离科学是指分配给A、B两组的数据必须一致，而数据科学是指不能直接用平均转化率和平均点击率来做出AB测试决策，而是通过置信区间、假设检验、得出结论的收敛程度。
07 A/B测试中需要了解的统计知识
上面的文章只是从应用的角度介绍了AB测试的一些内容。 在收集数据然后进行推断统计分析时，您可能需要具备以下知识。 由于篇幅限制，这里就不一一介绍了。 可以参考统计方面的书籍阅读。 可以参考《统计学习》贾跃平、可汗学院统计等书籍和视频。
点或区间估计中心极限定理（样本或总体的核心，可以比较大数定理）假设检验
其中，假设检验部分是核心，其他辅助工具可以更好地理解这部分的内容。 例如，区间可以理解为正向推论统计，假设检验可以理解为反证的推论统计。 关于假设检验本身，你可能还需要了解小概率事件、t分布、z分布、卡方分布、p值、alpha误差、beta误差等。
总结：
本文前4部分内容引用并翻译于：
部分内容发生了变化影响网站优化的程序有哪些，其中核心的变化是AB测试流程步骤。 目录的后三部分是基于个人的学习和思考。 希望对您有所帮助。
