详细讲解ABTest假设检验【实验设计结论分析】数据分析

article/2025/3/15 8:19:27

大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界,一起学习!

感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦。


目录

  • 一、实验设计
    • 1确定业务目标
    • 2 选择检验指标
      • 2.1 选择一类指标
      • 2.2 选择统计量
    • 3 确定原假设与备择假设
    • 4 两类统计错误的防范
    • 5 样本量计算
    • 6 检验策略选择、设计分组策略
    • 7 当企业没有AB测试的条件的时候,如何解决问题?
  • 二、实验结论分析
    • 1 决策统计检验
    • 2 决策业务问题
  • 结束语

我在另一篇博客中提到了什么是ABTest,并引用了一个项目,感兴趣的朋友可以再去看看。

本篇博客会从企业真实业务的角度来再次介绍假设检验,建议大家收藏后慢慢阅读。

一、实验设计

1确定业务目标

  1. 明确我们要提升的业务指标,如日营业额提升2%或2.5%。如果明确这个部分,实验会显得比较精简,目标明确;
  2. 明确我们要改进的产品/策略。

2 选择检验指标

2.1 选择一类指标

一类指标:不能容忍变差的指标;
二类指标:目标提升的指标。
如何确定一类指标?
在这里插入图片描述
如图,比方说我们现在想要在原本的页面增加一个搜索框,那对应的可能会导致用户的体验感收到影响,原本页面可以提供8个子链接可能就变成了6个子链接(即影响板块对应业务),可以展示的广告也会收到影响。这也就是图中的三大影响(即人货场:分析平台类的产品,我们要将消费者、平台方、供给方分开讨论),最终选择哪些是我们无法忍受变差的指标,将其定义为一类指标。当然,你可以考虑给对应的指标设定阈值。

场景举例:

在这里插入图片描述

2.2 选择统计量

在这里插入图片描述

3 确定原假设与备择假设

在这里插入图片描述
这里的x1是上策略后的水平,x0是原水平。

x1较x0有没有明确变化程度指的是定目标的时候,除了定指标定方向外,还有没有定优化程度。这里其实我在上篇博客讲到的就是说如果明确是要提升或者明确下降的话(有>或<),就是有,反之就是没有。而提升(<)就是左尾,提升(>)是右尾。也就是判断位于左拒绝域还是右拒绝域。

4 两类统计错误的防范

在这里插入图片描述
1、 α+β不一定等于1。
2、在样本容量确定的情况下,α与β不能同时增加或减少。
3、统计检验效力(1-β)当H0为假时,得出拒绝H0的正确结论的概率,被称做检验的效力

  • I类错误防范 :
    • 小概率α设置小些( 避免小概率的触发)
    • 增加样本量(使异常数据的影响降低)
  • II类错误防范:
    • 调大α(增加小概率的触发) 但是接受I类错误的代价远比II类错误的代价要大,所以不予使用;
    • II类错误概率只能在实验结束后才能计算发生二类错误的概率,这是一个事后值。所以在事前设计我们一般不考虑这个问题。默认二类错误的概率为20%。

5 样本量计算

统计学上根据统计量抽样分布和边际误差确定样本量。

样本量计算工具:https://www.evanmiller.org/ab-testing/sample-size.html

业务层面是以一类错误临界值二类错误临界值计算。
在这里插入图片描述
其中,区间估计算式 E 2 E^2 E2为:
在这里插入图片描述
z α / 2 z_{\alpha/2} zα/2可用EXCEL中的NORM.INV算出。

不过真实业务一般是下面的情况:
在这里插入图片描述
这里的 k k k指的是a组样本量与b组样本量之比, μ A − μ B \mu_A-\mu_B μAμB是提高/降低的目标。

当没有做抽样,不知道实验组总体方差时,可以用现有总体的方差代替。

6 检验策略选择、设计分组策略

在这里插入图片描述
实验自变量个数指的是我们采用策略的个数,比方说我们策略1是改变字体大小,策略2是改变字体颜色,那么此时实验自变量个数就是2。而自变量水平数指的是策略中的几种方案,比方改变颜色这个策略中我选择改成红蓝绿三种颜色,那么策略2的自变量水平数就是3+1个原水平,也就是4。

通常情况下我们都算采用独立样本,那么什么时候会选择配对样本呢?

  1. 实验对象十分特殊,都有某种特点;
  2. 实验对象的状态持续时间比较长;
  3. 实验对象数量较少。

举个例子,我想出了一个治疗罕见疾病的方法,想做ABTest,可病人实在太少了,那这个时候就可以考虑配对样本。(例子随便举的)

7 当企业没有AB测试的条件的时候,如何解决问题?

可以大致分为3中情况:

  1. 没有系统。
    没有灰度发布的系统,即没有向不同群体提供不同服务的系统。
    解决方法:人工划分群体或者线下测试。
  2. 用户量不够
    解决方法:如果统计量是比例数据的话,可以提高测试周期,如统计滴滴每日出事故的比例,可以提取一周的订单数据;如果产品本身针对的就是小众用户的话,那就有点难搞了,只能考虑用简单的对照法试着解决问题。
  3. 时间成本高
    解决方法:如果是时间跨度过长的话,考虑缩小时间跨度,比方说用周活跃率代替月活跃率;如果是转化周期过长的话,这时候就难搞一点,比方说用户留存率往往就需要较长时间,很难用缩短时间的方法来替代。

二、实验结论分析

1 决策统计检验

做实验决策可以通过统计量 及 统计量的P值来实现。

同时也可以通过样本量分布和显著性水平来确定拒绝域和接受域,从而拒绝或者接受结果。这里可以参考我另一篇博客。

2 决策业务问题

在这里插入图片描述

结束语

按我目前的理解来看,以上提到的七大流程并非全由数据分析师来执行,如测试立项中的测试目的可能由专门的产品人员负责,项目周期可能由项目经理来负责。

数据分析师主要就是跟数据打交道,但是一个只懂数据的数据分析师不是好的数据分析师,同样的要掌握好业务知识,懂得与产品人员沟通。

对以上内容有不认同的朋友,一切以你为准,本人新手一枚,内容仅供参考。


推荐关注的专栏

👨‍👩‍👦‍👦 机器学习:分享机器学习实战项目和常用模型讲解
👨‍👩‍👦‍👦 数据分析:分享数据分析实战项目和常用技能整理


关注我,了解更多相关知识!


CSDN@报告,今天也有好好学习


http://chatgpt.dhexx.cn/article/gDFHdS01.shtml

相关文章

增长黑客AB-Test系统(四)——AB-Test 最小样本量

作者&#xff1a;livan 来源&#xff1a;数据python与算法 前沿 统计计算主要应用在效果评估领域。客户经过分流之后在各个试验组中产生数据&#xff0c;统计的作用即为查看对应组的样本量是否达到最小样本量&#xff0c;数据之间是否存在显著性差异&#xff0c;以及进行差异大…

A/B test --计算实验所需样本量

如果懒得看下方内容&#xff0c;或者是看完了还有些许不懂&#xff0c;可以直接用这个好用又免费的计算器来计算 https://www.evanmiller.org/ab-testing/sample-size.html 新加一个 https://www.eyeofcloud.com/abtest-widget/124.html …………………………………………………

如何确定抽样统计的最小样本量(附:随机抽样统计的抽样误差Excel计算表格)

在电视节目中经常看到关于选举的报道中经常会后有支持率的数字,例如:调查结果为 a方支持率为45.3%;b方支持率为30.2%;c方支持率为8.5%;...最后都会说明一下,此次电话调查的数量2300,置信度为95%﹐最大容许误差为2.5%,这就是抽样调查的典型情景:一个大的集合(比如:数…

你们要的最小样本量计算来了。

总第179篇/张俊红 这一篇我们讲讲统计中的最小样本量计算。大家先想想为什么叫最小样本量&#xff0c;而不是最大或者直接叫样本量计算呢&#xff1f; 这是因为最小样本量这个概念主要用在抽样统计中&#xff0c;抽样统计为了研究某一事物的情况而从整体中抽取部分样本来进行研…

问卷分析预调查之确定样本容量

在问卷预调查&#xff0c;不仅能够检验出不符合的题项&#xff0c;也能确定调查所需要的样本容量&#xff0c;根据以下公式可以确定 公式介绍&#xff1a;n 表示样本数量&#xff0c; Z 表示置信水平&#xff0c; σ 表示样本总量中某一特定属性样本的比例&#xff08;比如说在…

如何确定抽样的样本数量

总体为9200人&#xff0c;预设的整体置信度为95%&#xff0c;最大容许误差为正负5%&#xff0c;求样本容量 网上搜到的第一个有价值的内容如下&#xff1a; 题目 某公司对60000人中的吸烟比例做调查,置信度为95%的情况下,若要使误差保持在4%以内,需要的最小样本容量是 这里并…

样本容量的确定

• 样本容量&#xff1a; 样本中个体的数目或组成抽样总体的单位数。 • 必要样本容量 &#xff1a; 亦称必要样本单位数&#xff0c;是指满足调查目的要求的情况下&#xff0c;至少需要选择的样本单位数。 一、估计总体均值时样本容量的确定 1.重复抽样 一旦确定了置信水平&…

Topic 5. 样本量确定及分割

每次做方案设计的时候&#xff0c;都会涉及到一个尖锐的问题&#xff0c;客户会问我得用多少的样本量才能发文章&#xff0c;这个嘛&#xff0c;事情从理论上回答还是有依据的&#xff0c;但是从实际出发永远都是 “理想很丰满&#xff0c;现实很骨感&#xff01;” 。不过还是…

参数估计-两个参数总体区间估计、样本量确定(三)

2019独角兽企业重金招聘Python工程师标准>>> 一、两个总体均值之差的区间估计 1、大样本估计 两个总体为正态分布,或两个总体不服正态分布但两个样本都为大样本,根据抽样分布知识可知 两个样本均值只差 服从期望为(μ1-μ2)、方差为( )的正态分布,转化为标准…

ABtest如何确定样本量?

如何计算样本量 商业分析的面试&#xff0c;很少会让面试者直接默写公式并进行计算。为啥&#xff1f;一&#xff0c;面试官八成自己也不记得公式。二&#xff0c;真实工作都是用网上的计算器&#xff0c;一键呵成&#xff0c;无需手算。 网上随手找的的sample size计算器 那么…

Topic 5. SCI 文章之样本量确定及分割

**每次做方案设计的时候&#xff0c;都会涉及到一个尖锐的问题&#xff0c;客户会问我得用多少的样本量才能发文章&#xff0c;这个嘛&#xff0c;事情从理论上回答还是有依据的&#xff0c;但是从实际出发永远都是 “理想很丰满&#xff0c;现实很骨感&#xff01;” 。不过还…

AB实验样本量确定

文章目录 1. 统计功效与关键概念2. Z检验样本量确定2.1 统计功效公式推导2.2 样本量计算公式2.3 求解样本量 3. 卡方检验样本量确定3.1 求解样本量 4. 简要总结Reference 在数据分析过程中&#xff0c; 一个完整的闭环是从数据中得到洞察&#xff0c;根据洞察得到某种假设&…

临床试验中样本量确定的统计学考虑

样本量确定(sample size determination)&#xff0c;又称样本量估计(sample size estimation)&#xff0c;是指为满足统计的准确性和可靠性(I类错误的控制和检验效能的保证)计算出所需的样本量&#xff0c;它是临床试验设计中一个极为重要的环节&#xff0c;直接关系到研究结论…

在前端中的缓存

http缓存 http缓存基本认识 http缓存分为强缓存和协商缓存 1、浏览器在加载资源时&#xff0c;先根据这个资源的一些http header判断它是否命中强缓存&#xff0c;强缓存如果命中&#xff0c;浏览器直接从自己的缓存中读取资源&#xff0c;不会发请求到服务器。比如某个css文…

前端缓存方案

前端几种本地缓存机制_蜗牛小前的博客-CSDN博客_前端本地缓存在漫长的前端开发过程中&#xff0c;我们常用的几种本地缓存机制&#xff1a;Cookie,LocalStorge,SessionStorge 1.Cookie的特点1&#xff09;cookie的大小受限制&#xff0c;cookie大小被限制在4KB&#xff0c;不能…

【前端】深入浅出缓存原理

缓存的基本原理 对于前端来说&#xff0c;缓存主要分为浏览器缓存&#xff08;比如 localStorage、sessionStorage、cookie等等&#xff09;以及http缓存&#xff0c;也是本文主要讲述的。 当然叫法也不一样&#xff0c;比如客户端缓存大概包括浏览器缓存和http缓存 所谓htt…

前端浏览器缓存机制

目录 1 缓存定义及其优点2 强缓存2.1 expires 和 Cache-Control 3 协商缓存4 浏览器缓存位置 1 缓存定义及其优点 什么是缓存&#xff1f; 当我们第一次访问网站的时候&#xff0c;电脑会把网站上的图片和数据下载到电脑上&#xff0c;当我们再次访问的时候&#xff0c;网站就会…

前端缓存机制

目录 前言 目的 缓存过程分析 强制缓存&#xff08;强缓存&#xff09; 强制缓存的缓存规则 浏览器的缓存存放在哪里 协商缓存 更新缓存 合理应用缓存 前言 对于浏览器缓存&#xff0c;每个前端开发者应该都不会陌生&#xff0c;同时它也是我们在日常开发中存在的一个…

前端缓存【web缓存】

前端缓存--http缓存 web缓存http缓存定义优点缺点http缓存类型 强缓存Expires实现的强缓存Cache-control实现的强缓存 协商缓存last-modified实现的协商缓存ETag实现的协商缓存缺点 设置缓存文件缓存&#xff08;html、js、css、png)总结 web缓存 web缓存主要指&#xff1a;浏…

前端缓存(HTTP缓存、浏览器缓存)浅析

前端缓存 文章目录 前端缓存缓存分类1、http缓存(1)强缓存&#xff08;本地缓存&#xff09;启发式缓存 (2)协商缓存&#xff08;弱缓存&#xff09; 2、浏览器缓存 其他响应头和请求头参数刷新正常重新加载硬性重新加载清空缓存并硬性重新加载 调试缓存 缓存分类 1、http缓存 …