A/B test --计算实验所需样本量

article/2025/3/15 8:24:49

如果懒得看下方内容,或者是看完了还有些许不懂,可以直接用这个好用又免费的计算器来计算
https://www.evanmiller.org/ab-testing/sample-size.html

新加一个
https://www.eyeofcloud.com/abtest-widget/124.html

……………………………………………………………………
A/B 测试一般是比较实验组和对照组在某些指标上是否存在差异,当然更多时候是看实验组相比对照组某个指标表现是否更好。

这样的对比在统计学上叫做两样本假设检验,即实验组和对照组为两样本;

  • 假设检验的原假设Ho:实验组和对照组无显著差异;
  • 备择假设H1:实验组和对照组存在显著差异。

显然,如果实验选取的样本很小,实验结果可信度就不高,因为很可能抽取的样本不能代表真实的水平。而在实际中,因为各种成本的考量,实验样本量也不可能无限大。那么,一般至少需要多少样本才能得到可信的结论呢?

实验所需样本量的一般公式

统计学里有最小样本量计算的公式,公式如下:
在这里插入图片描述
其中

  • n是每组所需样本量,因为A/B测试一般至少2组,所以实验所需样本量为2n;
  • α和β分别称为第一类错误概率和第二类错误概率,一般分别取0.05和0.2;
  • Z为正态分布的分位数函数;
  • Δ为两组数值的差异,如点击率1%到1.5%,那么Δ就是0.5%;
  • σ为标准差,是数值波动性的衡量,σ越大表示数值波动越厉害。

从这个公式可以知道,在其他条件不变的情况下,如果实验两组数值差异越大或者数值的波动性越小,所需要的样本量就越小。

比例类数值所需样本量的计算

实际A/B测试中,我们关注的较多的一类是比例类的数值,如点击率、转化率、留存率等。

这类比例类数值的特点是,对于某一个用户(样本中的每一个样本点)其结果只有两种,“成功”或“未成功”;对于整体来说,其数值为结果是“成功”的用户数所占比例。如转化率,对于某个用户只有成功转化或未成功转化。

比例类数值的假设检验在统计学中叫做两样本比例假设检验。其最小样本量计算的公式为:

在这里插入图片描述
上面式子中

  • p1我们称为基础值,是实验关注的关键指标现在的数值(对照组);
  • p2我们称为目标值,是希望通过实验将其改善至的水平;
  • α和β第一类错误和第二类错误上边已经提到,暂不多做说明,通常设定α为0.05,β为0.2 。

既然样本量计算的公式已经清楚,那么我们按照公式代入即可得到结果。这里介绍5种获得比例类数值实验所需样本量的方法,分别为:在线工具、Excel、R、Python、G*Power。

以下将以以p1=0.3,p2=0.305,α=0.05,β=0.2为例,演示在这几个工具里计算样本量的方法。

用在线工具计算所需样本量

文章开头提起的好用免费的计算器:
https://www.evanmiller.org/ab-testing/sample-size.html

计算方式如下:
在这里插入图片描述

在Excel中计算所需样本量

在Excel中用上NORM.S.INV等函数,即可实现样本量计算。如图:
在这里插入图片描述
C7-C11的公式分别为:

C7:=(NORM.S.INV(C4/2)+NORM.S.INV(C5))2*(C2*(1-C2)+C3*(1-C3))/(C3-C2)2

C8:=(NORM.S.INV(C4/2)SQRT(2(C2+C3)/2*(1-(C2+C3)/2))+NORM.S.INV(C5)SQRT(C2(1-C2)+C3*(1-C3)))2/(C3-C2)2

C9:=(NORM.S.INV(C4/2)SQRT(2C2*(1-C2))+NORM.S.INV(C5)SQRT(C2(1-C2)+C3*(1-C3)))2/(C3-C2)2

C10:=2*(NORM.S.INV(C4/2)+NORM.S.INV(C5))2/(2*ASIN(SQRT(C2))-2*ASIN(SQRT(C3)))2

C11:=16*(C2*(1-C2))/(C3-C2)^2

在R中计算所需样本量

R中可以直接使用power.prop.test函数实现。一行代码就可搞定:

power.prop.test(p1 = 0.30, p2 = 0.305, sig.level = 0.05, power = 0.80, alternative = 'two')

在这里插入图片描述

在Python中计算所需样本量

Python中科学计算库里statsmodel也可直接支持计算。具体代码为:

from statsmodels.stats.power import zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize as eszt_ind_solve_power(effect_size=es(prop1=0.30, prop2=0.305), alpha=0.05, power=0.8, alternative="two-sided")

执行后得到结果:
在这里插入图片描述

在G*Power中计算所需样本量

打开G*Power,选取Test family、Statistical test和Type of power analyisis为如下截图所示且输入对应数值。A/B 测试一般是实验组和对照组样本一样多,故N2/N1设为1。

点击Calculate,得到Sample size group1和Sample size group2即为对照组和实验组所需的样本量。

在这里插入图片描述


http://chatgpt.dhexx.cn/article/UP7dvFgY.shtml

相关文章

如何确定抽样统计的最小样本量(附:随机抽样统计的抽样误差Excel计算表格)

在电视节目中经常看到关于选举的报道中经常会后有支持率的数字,例如:调查结果为 a方支持率为45.3%;b方支持率为30.2%;c方支持率为8.5%;...最后都会说明一下,此次电话调查的数量2300,置信度为95%﹐最大容许误差为2.5%,这就是抽样调查的典型情景:一个大的集合(比如:数…

你们要的最小样本量计算来了。

总第179篇/张俊红 这一篇我们讲讲统计中的最小样本量计算。大家先想想为什么叫最小样本量,而不是最大或者直接叫样本量计算呢? 这是因为最小样本量这个概念主要用在抽样统计中,抽样统计为了研究某一事物的情况而从整体中抽取部分样本来进行研…

问卷分析预调查之确定样本容量

在问卷预调查,不仅能够检验出不符合的题项,也能确定调查所需要的样本容量,根据以下公式可以确定 公式介绍:n 表示样本数量, Z 表示置信水平, σ 表示样本总量中某一特定属性样本的比例(比如说在…

如何确定抽样的样本数量

总体为9200人,预设的整体置信度为95%,最大容许误差为正负5%,求样本容量 网上搜到的第一个有价值的内容如下: 题目 某公司对60000人中的吸烟比例做调查,置信度为95%的情况下,若要使误差保持在4%以内,需要的最小样本容量是 这里并…

样本容量的确定

• 样本容量: 样本中个体的数目或组成抽样总体的单位数。 • 必要样本容量 : 亦称必要样本单位数,是指满足调查目的要求的情况下,至少需要选择的样本单位数。 一、估计总体均值时样本容量的确定 1.重复抽样 一旦确定了置信水平&…

Topic 5. 样本量确定及分割

每次做方案设计的时候,都会涉及到一个尖锐的问题,客户会问我得用多少的样本量才能发文章,这个嘛,事情从理论上回答还是有依据的,但是从实际出发永远都是 “理想很丰满,现实很骨感!” 。不过还是…

参数估计-两个参数总体区间估计、样本量确定(三)

2019独角兽企业重金招聘Python工程师标准>>> 一、两个总体均值之差的区间估计 1、大样本估计 两个总体为正态分布,或两个总体不服正态分布但两个样本都为大样本,根据抽样分布知识可知 两个样本均值只差 服从期望为(μ1-μ2)、方差为( )的正态分布,转化为标准…

ABtest如何确定样本量?

如何计算样本量 商业分析的面试,很少会让面试者直接默写公式并进行计算。为啥?一,面试官八成自己也不记得公式。二,真实工作都是用网上的计算器,一键呵成,无需手算。 网上随手找的的sample size计算器 那么…

Topic 5. SCI 文章之样本量确定及分割

**每次做方案设计的时候,都会涉及到一个尖锐的问题,客户会问我得用多少的样本量才能发文章,这个嘛,事情从理论上回答还是有依据的,但是从实际出发永远都是 “理想很丰满,现实很骨感!” 。不过还…

AB实验样本量确定

文章目录 1. 统计功效与关键概念2. Z检验样本量确定2.1 统计功效公式推导2.2 样本量计算公式2.3 求解样本量 3. 卡方检验样本量确定3.1 求解样本量 4. 简要总结Reference 在数据分析过程中, 一个完整的闭环是从数据中得到洞察,根据洞察得到某种假设&…

临床试验中样本量确定的统计学考虑

样本量确定(sample size determination),又称样本量估计(sample size estimation),是指为满足统计的准确性和可靠性(I类错误的控制和检验效能的保证)计算出所需的样本量,它是临床试验设计中一个极为重要的环节,直接关系到研究结论…

在前端中的缓存

http缓存 http缓存基本认识 http缓存分为强缓存和协商缓存 1、浏览器在加载资源时,先根据这个资源的一些http header判断它是否命中强缓存,强缓存如果命中,浏览器直接从自己的缓存中读取资源,不会发请求到服务器。比如某个css文…

前端缓存方案

前端几种本地缓存机制_蜗牛小前的博客-CSDN博客_前端本地缓存在漫长的前端开发过程中,我们常用的几种本地缓存机制:Cookie,LocalStorge,SessionStorge 1.Cookie的特点1)cookie的大小受限制,cookie大小被限制在4KB,不能…

【前端】深入浅出缓存原理

缓存的基本原理 对于前端来说,缓存主要分为浏览器缓存(比如 localStorage、sessionStorage、cookie等等)以及http缓存,也是本文主要讲述的。 当然叫法也不一样,比如客户端缓存大概包括浏览器缓存和http缓存 所谓htt…

前端浏览器缓存机制

目录 1 缓存定义及其优点2 强缓存2.1 expires 和 Cache-Control 3 协商缓存4 浏览器缓存位置 1 缓存定义及其优点 什么是缓存? 当我们第一次访问网站的时候,电脑会把网站上的图片和数据下载到电脑上,当我们再次访问的时候,网站就会…

前端缓存机制

目录 前言 目的 缓存过程分析 强制缓存(强缓存) 强制缓存的缓存规则 浏览器的缓存存放在哪里 协商缓存 更新缓存 合理应用缓存 前言 对于浏览器缓存,每个前端开发者应该都不会陌生,同时它也是我们在日常开发中存在的一个…

前端缓存【web缓存】

前端缓存--http缓存 web缓存http缓存定义优点缺点http缓存类型 强缓存Expires实现的强缓存Cache-control实现的强缓存 协商缓存last-modified实现的协商缓存ETag实现的协商缓存缺点 设置缓存文件缓存(html、js、css、png)总结 web缓存 web缓存主要指:浏…

前端缓存(HTTP缓存、浏览器缓存)浅析

前端缓存 文章目录 前端缓存缓存分类1、http缓存(1)强缓存(本地缓存)启发式缓存 (2)协商缓存(弱缓存) 2、浏览器缓存 其他响应头和请求头参数刷新正常重新加载硬性重新加载清空缓存并硬性重新加载 调试缓存 缓存分类 1、http缓存 …

前端缓存最佳实践

点击上方“前端开发博客”,选择“设为星标” 回复“2”加入前端群 作者:黑金团队https://juejin.cn/post/6844903737538920462 前言 缓存,这是一个老生常谈的话题,也常被作为前端面试的一个知识点。本文,重点在与探讨在…

技术点:前端缓存分类及使用

前端缓存 什么是 web 缓存(前端缓存) web 缓存主要指的是两部分:浏览器缓存和 http 缓存 浏览器缓存:比如,localStorage,sessionStorage,cookie 等等。这些功能主要用于缓存一些必要的数据,比如用户信息。比如需要携…