离散分布总结

article/2025/4/26 18:29:19

离散分布的基础定义

经典离散分布

矩母函数 Moment Generating Function

切比雪夫定理 Tchebysheff’s Theorem

离散分布的基础定义
- 一个离散变量Y的概率分布可以表示成 $p(y)=P(Y=y)$
- 每个离散概率分布都满足以下两个条件：
  - 对于每个y， $0\leq p(y) \leq1$
  - $\sum_{y}p(y)=1$ ，所有y的非零概率的和等于1
- 离散变量Y的期望E(Y)：
  - $E(Y)=\sum_{y}yp(y)$
- 离散变量Y的方差V(Y)：
  - $V(Y)=E[(Y-\mu)^2)]$
- 一些定理关于期望E(Y)和方差V(Y)的定理：
  - $E(c)=c$ ，c是常数
  - $E(g(Y))=\sum_{all y}g(y)p(y)$
  - $E[cg(Y)]=cE[g(y)]$
  - $E[g_1(Y)+...+g_k(Y)]=E[g_1(Y)]+...+E[g_k(Y)]$
  - $V(Y)=\sigma^2=E[(Y-\mu)^2]=E(Y^2)-\mu^2$
经典离散分布
- 二项分布 Binomial Distribution
- 几何分布 Geometric Distribution
- 超几何分布 Hypergeometric Distribution
- 泊松分布 Poisson Distribution
- 多项分布 Multinomial Distribution
矩母函数 Moment Generating Function
- 为什么引入矩母函数？
  - 期望和标准差可以帮助确定中心和描述分布，但是它们并不是随机变量的独特特征，因为很多不同的概率分布会得出相同的期望和标准差。因此，引入矩母函数这个概念，以帮助确定某个随机变量的独特概率分布。
- 定义：
  - 关于原点取的随机变量Y的第k个矩 (kth moment of a random variable Y taken about the origin) 的表达式为或者。
    - * $E(Y^k)= E[(Y-0)^k]$
  - 关于其期望取的随机变量Y的第k个矩 (kth moment of a random variable Y taken about its mean) 的表达式为 $E[(Y-\mu)^k]$ 或者 $\mu_k$ 。
  - 随机变量Y的矩母函数m(t)的表达式为 $m(t)=E(e^{tY})$ 。如果存在一个正常数b在 $|t|\leq b$ 时，m(t)是有限的，则Y的m(t)存在。
- 矩母函数的重要应用：
  - 如果能找到m(t)，则一定能找到Y的任意矩。
    - 定理：如果m(t)存在，那么对于任意正整数k, $\frac{d^km(t)}{dt^k}]_{t=0}=m^{(k)}(0)=\mu'_k$ 。
  - 如果一个概率分布p(y)存在m(t)，则其m(t)一定是独特的。可用该条性质建立两个概率分布的等价关系。
    - 一个很好的例子：随机变量Y的m(t)为 $e^{3.2(e^t-1)}$ 。泊松分布在 $\lambda = 3.2$ 时的m(t)也是 $e^{3.2(e^t-1)}$ 。由于每个概率分布的m(t)都是独特的，那么 $Y\sim Pois(3.2)$ 。
切比雪夫定理 Tchebysheff’s Theorem
- 定理：Y是一个随机变量，其期望为，方差为有限的。
  - 版本1：那么对于任意非零常数，可以得到和。
    - Y落在距离期望 $\mu$ 的k个标准差 $\sigma$ 范围之内的概率大于等于 $1-\frac{1}{k^2}$
    - Y落在距离期望 $\mu$ 的k个标准差 $\sigma$ 范围之外的概率小于等于 $\frac{1}{k^2}$
  - 版本2：那么对于任意非零常数 $m>0$ ，可以得到 $P(|Y-\mu|<m) \geq 1-\frac{\sigma^2}{m^2}$ 和 $P(|Y-\mu|\geq m)\leq \frac{\sigma^2}{m^2}$
- 切比雪夫定理的两个特征：
  - 对于任意概率分布都成立
  - 得到的结果非常保守，真实的概率往往远超这个结果