如何理解beta分布?

article/2025/10/15 16:52:29

相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了,但是却鲜少有人去介绍beta分布的。

用一句话来说,beta分布可以看作一个概率的概率分布,当你不知道一个东西的具体概率是多少时,它可以给出了所有概率出现的可能性大小。

举一个简单的例子,熟悉棒球运动的都知道有一个指标就是棒球击球率(batting average),就是用一个运动员击中的球数除以击球的总数,我们一般认为0.266是正常水平的击球率,而如果击球率高达0.3就被认为是非常优秀的。

现在有一个棒球运动员,我们希望能够预测他在这一赛季中的棒球击球率是多少。你可能就会直接计算棒球击球率,用击中的数除以击球数,但是如果这个棒球运动员只打了一次,而且还命中了,那么他就击球率就是100%了,这显然是不合理的,因为根据棒球的历史信息,我们知道这个击球率应该是0.215到0.36之间才对啊。

对于这个问题,我们可以用一个二项分布表示(一系列成功或失败),一个最好的方法来表示这些经验(在统计中称为先验信息)就是用beta分布,这表示在我们没有看到这个运动员打球之前,我们就有了一个大概的范围。beta分布的定义域是(0,1)这就跟概率的范围是一样的。

接下来我们将这些先验信息转换为beta分布的参数,我们知道一个击球率应该是平均0.27左右,而他的范围是0.21到0.35,那么根据这个信息,我们可以取α=81,β=219α=81,β=219

这里写图片描述

之所以取这两个参数是因为:

  • beta分布的均值是αα+β=8181+219=0.27αα+β=8181+219=0.27
  • 从图中可以看到这个分布主要落在了(0.2,0.35)间,这是从经验中得出的合理的范围。

在这个例子里,我们的x轴就表示各个击球率的取值,x对应的y值就是这个击球率所对应的概率。也就是说beta分布可以看作一个概率的概率分布。

那么有了先验信息后,现在我们考虑一个运动员只打一次球,那么他现在的数据就是”1中;1击”。这时候我们就可以更新我们的分布了,让这个曲线做一些移动去适应我们的新信息。beta分布在数学上就给我们提供了这一性质,他与二项分布是共轭先验的(Conjugate_prior)。所谓共轭先验就是先验分布是beta分布,而后验分布同样是beta分布。结果很简单: 

Beta(α0+hits,β0+misses)Beta(α0+hits,β0+misses)

其中α0α0β0β0是一开始的参数,在这里是81和219。所以在这一例子里,αα增加了1(击中了一次)。ββ没有增加(没有漏球)。这就是我们的新的beta分布Beta(81+1,219)Beta(81+1,219),我们跟原来的比较一下:

这里写图片描述

可以看到这个分布其实没多大变化,这是因为只打了1次球并不能说明什么问题。但是如果我们得到了更多的数据,假设一共打了300次,其中击中了100次,200次没击中,那么这一新分布就是: 

beta(81+100,219+200)beta(81+100,219+200)

这里写图片描述

注意到这个曲线变得更加尖,并且平移到了一个右边的位置,表示比平均水平要高。

一个有趣的事情是,根据这个新的beta分布,我们可以得出他的数学期望为:αα+β=82+10082+100+219+200=.303αα+β=82+10082+100+219+200=.303 ,这一结果要比直接的估计要小 100100+200=.333100100+200=.333 。你可能已经意识到,我们事实上就是在这个运动员在击球之前可以理解为他已经成功了81次,失败了219次这样一个先验信息。

因此,对于一个我们不知道概率是什么,而又有一些合理的猜测时,beta分布能很好的作为一个表示概率的概率分布。

beta分布与二项分布的共轭先验性质

二项分布

二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,则这一系列试验总称为n重伯努利实验,当试验次数为1时,二项分布服从0-1分布

二项分布的似然函数: 

P(data|θ)θz(1θ)Nzz=i=1NXiP(data|θ)∝θz(1−θ)N−zz=∑i=1NXi

beta分布

Beta(a,b)=θa1(1θ)b1B(a,b)θa1(1θ)b1Beta(a,b)=θa−1(1−θ)b−1B(a,b)∝θa−1(1−θ)b−1

在beta分布中,B函数是一个标准化函数,它只是为了使得这个分布的概率密度积分等于1才加上的。

贝叶斯估计

我们做贝叶斯估计的目的就是要在给定数据的情况下求出θθ的值,所以我们的目的是求解如下后验概率: 

P(θ|data)=P(data|θ)P(θ)P(data)P(data|θ)P(θ)P(θ|data)=P(data|θ)P(θ)P(data)∝P(data|θ)P(θ)

注意到因为P(data)与我们所需要估计的 θθ 是独立的,因此我们可以不考虑它。

我们称P(data|θ)P(data|θ)为似然函数,P(θ)P(θ)为先验分布

共轭先验

现在我们有了二项分布的似然函数和beta分布,现在我们将beta分布代进贝叶斯估计中的P(θ)P(θ)中,将二项分布的似然函数代入P(data|θ)P(data|θ)中,可以得到: 

P(θ|data)θz(1θ)Nzθa1(1θ)b1θa+z1(1θ)b+Nz1P(θ|data)∝θz(1−θ)N−z∗θa−1(1−θ)b−1∝θa+z−1(1−θ)b+N−z−1

我们设 a=a+z,b=b+Nza′=a+z,b′=b+N−z  
最后我们发现这个贝叶斯估计服从Beta(a’,b’)分布的,我们只要用B函数将它标准化就得到我们的后验概率: 
P(θ|data)=θa1(1θ)b1B(a,b)P(θ|data)=θa′−1(1−θ)b′−1B(a′,b′)

参考资料:

1.Understanding the beta distribution (using baseball statistics) 
2.20 - Beta conjugate prior to Binomial and Bernoulli likelihoods


http://chatgpt.dhexx.cn/article/56cHMIxd.shtml

相关文章

原创 | 一文读懂正态分布与贝塔分布

本文约2300字,建议阅读5分钟 本文通过案例介绍了正态分布和贝塔分布的概念。 正态分布 正态分布,是一种非常常见的连续概率分布,其也叫做常态分布(normal distribution),或者根据其前期的研究贡献者之一高斯的名字来称…

带你理解beta分布

#beta分布介绍 相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了,但是却鲜少有人去介绍beta分布的。 用一句话来说,beta分布可以看作一个概率的概率分布,当你不知道一个东西的具体概率是多少时,它可以给出了所…

深入理解什么是Beta分布

例一 Beta分布是一种描述概率的概率分布,这句话可能有些绕口,看一个例子: 以抛硬币为例,如果硬币是均匀的,并且正面朝上的概率记为p(p0.5),那么每一次抛硬币都可以看做是一次伯努利…

贝塔分布(beta分布)及Python实现——计算机视觉修炼之路(二)

beta分布 贝塔分布( Beta Distribution ) 是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数,在机器学习和数理统计学中有重要应用。在概率论中,贝塔分布,是指一组定义在(0,1)区间的连续概率分布。其概率密度函数为&…

Beta分布(概率的概率)

目录 1.前言 2.定义 3.Beat分布的概率密度函数(PDF): 4.Beat分布的累积密度函数(CDF): 1.前言 伯努利试验(同样的条件下重复地、相互独立地进行的一种随机试验,其特点是该随机试验…

伽马分布与 贝塔分布

伽马函数 称 为伽马函数,其中参数 ,伽马函数具有如下性质: ,n为自然数;或写作 余元公式:对于 ,有 与贝塔函数 的关系 : 对于 ;伽马函数是严格凹函数。x足够大时,可以用Stirling 公式来计算Gam…

贝塔、伽马分布

最近开始自学PRML,为此又补了概率论中的一些知识点。 相较于古典概率通过各种估计手段来确定参数的分布,贝叶斯学派则是使用后验概率来确定,为了方便计算后验概率,引入共轭先验分布来方便计算,这是后话了。 那么一些…

贝塔分布

B e t a Beta Beta分布 众所周知,当一个随机变量 Y Y Y的密度函数如下所示时,称这个变量 Y Y Y满足 B e t a ( a , b ) Beta(a,b) Beta(a,b)分布: f ( y ) y a − 1 ( 1 − y ) b − 1 ∫ 0 1 y a − 1 ( 1 − y ) b − 1 d y y a − 1 (…

数据科学分布——Beta分布

Beta分布 概念参数影响数量比例 随机产生数据概率密度函数累积概率密度函数 概念 贝塔分布(Beta Distribution) 是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数,在机器学习和数理统计学中有重要应用。在概率论中,贝塔分布&#…

Beta分布及其应用

贝塔分布(Beta Distribution)是一个连续的概率分布,它只有两个参数。它最重要的应用是为某项实验的成功概率建模。在本篇博客中,我们使用Beta分布作为描述。 原文地址:http://www.datalearner.com/blog/1051505532393…

机器学习中的数学——常用概率分布(十):贝塔分布(Beta分布)

分类目录:《机器学习中的数学》总目录 相关文章: 常用概率分布(一):伯努利分布(Bernoulli分布) 常用概率分布(二):范畴分布(Multinoulli分布&am…

NLPIR分词系统的使用

前身是2000年发布的ICTCLAS,2009年更为现名。张华平博士打造。 Java课设做自动问答系统,用到了,所以记录一下使用方法,网上方法可能有点老,所以自己发现没有那么复杂。 https://github.com/NLPIR-team/NLPIR 上下载源…

分词系统

ICTClAS分词系统是由中科院计算所的张华平、刘群所开发的一套获得广泛好评的分词系统,难能可贵的是该版的Free版开放了源代码,为我们很多初学者提供了宝贵的学习材料。 但有一点不完美的是,该源代码没有配套的文档,阅读起来可能有…

中科院分词ICTCLAS汉语分词系统简单配置

汉语分词一直来说都是进行文本分析的瓶颈,这里介绍一个汉语分词系统ICTCLAS,全球很受欢迎的汉语分词开源系统,曾获得首界国际分词大赛综合排名第一,国家973评测第一名;支持词典,多级词性标注,支…

智能语言-中科院分词系统ICTCLAS(NLPIR)

智能语言的处理中,第一个步骤就是分词。一个句子处理的第一步就是分词了,目前而言中文分词中效果最好的就是中科院分词系统。在2014版本以及之前称为ICTCLAS,之后的版本都更名为NLPIR。 我给出一个最简单的使用教程,能够帮助新手…

NLPIR(北理工张华平版中文分词系统)的SDK(C++)调用方法

一、本文内容简介 关于中文分词的基本概念关于NLPIR(北理工张华平版中文分词系统)的基本情况具体SDK模块(C版)的组装方法 二、具体内容 1. 中文分词的基本概念 中文分词是自然语言处理的一个分支,自然语言即人们在日常生活中使用的语言,包含书面语,口…

哈工大中文分词系统LTP(pyltp)学习笔记

一、LTP简介 介绍:语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、高效、精准的自然语言处理技术。经过 哈工大社会计算与信息检索研究中心 11 年的持续研发和推广,LTP已经成为国内外最具影响力的中文…

比较热门好用的开源中文分词软件系统有哪些?

在逐渐步入DT(Data Technology)时代的今天,自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说,并没有类似英文空格的边界标志。而理解句子所包含的词语,则是理解汉语语句的第一步。汉语自动分词的任务&…

中科院分词系统整理笔记

NLPIR简介 一套专门针对原始文本集进行处理和加工的软件,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。可以使用该软件对自己的数据进行处理。 NLPIR分词系统前身为2000年发布的ICTCLAS词法分析系统,从2009年开始&…

NLPIR汉语分词系统

灵玖软件:www.lingjoin.com 应各位ICTCLAS用户的要求,张华平博士正式发布ICTCLAS2013 版本,为了与以前工作进行大的区隔,并推广NLPIR自然语言处理与信息检索共享平台,从本版本开始,系统名称调整为NLPIR汉…