最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

---

简介

贝塔分布

下面就是$X \sim Beta(\alpha,\beta)$的概率密度函数

$$f(x)={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$

• $E(X)={{\alpha}\over{\alpha+\beta}}$
• $Var(X)={{\alpha\beta}\over{(\alpha+\beta)^2(\alpha+\beta+1)}}$

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

$$f(x)=wx^{\alpha-1}(1-x)^{\beta-1}$$
其中， $w$是一个常数，为了满足概率分布函数的两个条件

• $x\in [0,1]$
  • $\int_{0}^{1}f(x)dx=1$

  • 因此
    

    $$f(x)={{x^{\alpha-1}(1-x)^{\beta-1}}\over{\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx}}\\={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\={{1}\over{B(\alpha,\beta)}}x^{\alpha-1}(1-x)^{\beta-1}$$

    贝塔函数

    $B(\alpha,\beta)=\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx$

    ---

    伽马函数

    其中$\Gamma(x)$就是伽马函数，此处传送门详解伽马函数历史由来
    

    $$\Gamma(\theta)=\int_{0}^{\infty}x^{\theta-1}e^{-x}dx$$

    其中伽马函数有一些性质需要注意

    • $\Gamma(x+1)=x\Gamma(x)$

    • 对于整数$n$来说
      

      $$\Gamma(n)=(n-1)!$$

    • 对于$x\in{(0,1)}$,
      

      $${\Gamma(1-x)\Gamma(x)}={{\pi} \over {\sin(\pi x)}}$$

    • $\Gamma({1 \over 2})=\sqrt{\pi}$

    ---

    伽马分布

    $X \sim \Gamma(k,\theta)$的概率密度函数如下

    $$f(x)={{x^{k-1}e^{-{{x}/{\theta}}}}\over{\theta^k\Gamma(k)}},(k\gt0,\theta\gt0)$$

    • $E(x)=k\theta$

    • $Var(x)=k\theta^2$

    
    

    ---

    倒伽马分布

    $X\sim IGa(\alpha,\beta)$
    由$Y=g(X)={{1}\over{X}}及X\sim \Gamma(k,\theta)$推出$Y$的分布，即为倒伽马分布。
    

    $$f_Y(y)=f_X(g^{-1}(y)|{d\over{dy}}g^{-1}(y)|)\\ ={1\over{\theta^k\Gamma(k)}}({{1}\over{y}})^{k+1}exp({{-1}\over{y\theta}})\\ ={1\over{\theta^k\Gamma(k)}}y^{-k-1}exp({{-1}\over{y\theta}})$$
    用$\alpha$替换$k$,$\beta$替换$\theta^{-1}$得：
    
    $$f_X(x)={{\beta^\alpha}\over{\Gamma(\alpha)}}x^{-\alpha-1}exp({{-\beta}\over{x}})$$
    上式即为倒伽马分布的概率密度函数 $X\sim IGa(\alpha,\beta)$。

    • $E(X)={\beta\over{\alpha-1}},\alpha\gt1$

    • $D(X)={{\beta^2}\over{(\alpha-1)^2(\alpha-2)}},\alpha\gt2$

    
    

    参考资料

    • https://en.wikipedia.org/wiki/Beta_distribution

    • https://en.wikipedia.org/wiki/Beta_function

    • https://en.wikipedia.org/wiki/Inverse-gamma_distribution

    
    本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。