概率论基础

1. 随机事件

1.1. 概念

1.1.1. 随机现象

在一定的条件下，并不总是出现相同的结果的现象称为随机现象，如抛一枚硬币与掷一颗骰子。随机现象有两个特点：

• 结果不止一个；
• 哪一个结果出现，人们事先不知道。

只有一个结果的现象称为确定性现象。

1.1.2. 样本空间

随机现象的一切可能基本结果组成的集合称为样本空间，即为 Ω = { ω } \Omega=\{\omega\} Ω={ω}，其中$\omega$表示基本结果，又称为样本点。需要注意的是：

• 样本空间中的元素可以是数，也可以不是数。
• 样本空间至少有两个样本点，仅含两个样本点的样本空间是最简单的样本空间。
• 从样本空间含有样本点的个数区分，样本空间可以分为有限与无限两类。另外，往往将样本点的个数为有限个或可列个的情况归为一类，称为离散样本空间。而将样本点的个数为不可列无限个的情况归为另一类，称为连续样本空间。

1.1.3. 随机事件

随机现象的某些样本点组成的集合称为随机事件，简称事件，常用大写字母$A,B,C,\cdots$表示。要注意以下几点：

• 任一事件$A$是相应样本空间的一个子集。
• 当子集$A$中某个样本点出现了，就说事件$A$发生了。
• 事件可以用集合表示，也可以用明白无误的语言描述。
• 由样本空间$\Omega$中的单个元素组成的子集称为基本事件。而$\Omega$称为必然事件，空间$\varnothing$称为不可能事件。

1.1.4. 随机变量

用来表示随机现象结果的变量称为随机变量，常用大写字母$X,Y,Z,\cdots$表示。很多事件都可用随机变量表示，表示时关键应写明随机变量的含义。

例如：掷一颗骰子，可能出现1，2，3，4，5，6诸点，若设置$X=$“掷一颗骰子出现的点数”，则随机变量$X$的可能取值为1，2，3，4，5，6，这时

• 事件“出现3点”可用“$X=3$”表示。
• 事件“出现点数超过3”可用“$X>3$”表示。
• “$X\le 6$”是必然事件$\Omega$.
• “$X=7$”是不可能事件$\varnothing$.

1.1.5. 事件间的关系

一、包含关系

如果属于$A$的样本点必属于$B$，则称$A$被包含在$B$中，或称$B$包含$A$，记为$A\subset B$.用概率论的语言说：事件$A$发生必然导致事件$B$发生。

二、相等关系

如果事件$A$与事件$B$满足：属于$A$的样本点必属于$B$，而且属于$B$的样本点必属于$A$，即$A\subset B$且$B\subset A$，则称事件$A$与$B$相等，即为$A=B$.

三、互不相容

如果事件$A$与事件$B$没有相同的样本点，则称$A$与$B$互不相容。

1.1.6. 事件间的运算

一、事件$A$与$B$的并

事件$A$与$B$的并是由事件$A$与$B$中所有样本点(相同的只计入一次)组成的新事件，或用概率论的语言说，事件$A$与$B$中至少有一个发生，即为$A\cup B$.

二、事件$A$与$B$的交

事件$A$与$B$的交是由事件$A$与$B$中公共的样本点组成的新事件，或用概率论的语言说，事件$A$与$B$同时发生，即为$A\cap B$.

三、事件$A$与$B$的差

事件$A$与$B$的差是由在事件$A$中而不在$B$中的样本点组成的新事件，或用概率论的语言说，事件$A$发生而$B$不发生，即为$A-B$.

四、对立事件

事件$A$的对立事件，即为$\overline{A}$，即由在$\Omega$中而不在$A$中的样本点组成的新事件，或用概率论的语言说，$A$不发生，即$\overline{A}=\Omega -A$.事件$A$与$B$互为对立事件的充要条件是：$A\cap B=\varnothing$且$A\cup B=\Omega$.

五、事件的运算性质

1.交换律

$$A\cup B=B\cup A,AB=BA$$

2.结合律

$$(A\cup B)\cup C=A\cup (B\cup C)$$
$$(AB)C=A(BC)$$

3.分配律
$$(A\cup B)\cap C=AC\cup BC$$
$$(A\cap B)\cup C=(A\cup C)\cap (B\cup C)$$

4.对偶律(德摩根公式)

$$\overline{A\cup B}=\overline{A}\cap \overline{B}$$
$$\overline{A\cap B}=\overline{A}\cup \overline{B}$$

六、事件域

定义： 设$\Omega$为一个样本空间，$\mathcal{F}$为$\Omega$的某些子集组成的集合类。如果$\mathcal{F}$满足：

• $\Omega \in \mathcal{F}$，
• 若$A\in \mathcal{F}$，则对立事件$\overline{A}\in \mathcal{F}$，
• 若$A_n\in \mathcal{F},n=1,2,\cdots$，则可列并${\cup }_{n=1}^{\infty }{A}_n\in \mathcal{F}$.

则称$\mathcal{F}$为一个事件域，又称为$\sigma$域或$\sigma$代数。

1.2. 概率的定义及其确定方法

1.2.1. 概率的公理化定义

定义： 设$\Omega$为一个样本空间，$\mathcal{F}$为$\Omega$的某些子集组成的一个事件域。如果对任一事件$A\in \mathcal{F}$，定义在$\mathcal{F}$上的一个实值函数$P(A)$满足：

(1) 非负性公理 若$A\in \mathcal{F}$，则$P(A)\ge 0$,

(2) 正则性公理 $P(\Omega )=1$,

(3) 可列可加性公理 若$A_1,A_2,A_3,\cdots ,A_n,\cdots$互不相容，则

$$P(\bigcup _{i=1}^{\infty }{A}_i)=\sum _{i=1}^{\infty }P(A_i)$$

则称$P(A)$为事件$A$的概率，称三元素$(\Omega ,\mathcal{F},P)$为概率空间。

1.2.2. 概率的确定方法

一、频率方法

确定概率的频率方法是在大量重复试验中，用频率的稳定值去获得概率的一种方法，其基本思想是：

(1) 与考察事件$A$有关的随机现象可大量重复进行。

(2) 在$n$次重复试验中，即$n(A)$为事件$A$出现的次数，又称$n(A)$为事件$A$的频数。称

$$f_n(A)=\frac{n(A)}{n}$$

为事件$A$出现的频率。

(3) 人们的长期实践表明：随着试验重复次数$n$的增加，频率$f_n(A)$会稳定在某一常数$a$附近，我们称这个常数为频率的稳定值。这个频率的稳定值就是我们所求的概率。

二、古典方法

排列的定义： 从$n$个不同元素中，任取$m$($m\le n$,$m$与$n$均为自然数,下同)个元素按照一定的顺序排成一列，叫做从$n$个不同元素中取出$m$个元素的一个排列；从$n$个不同元素中取出$m$($m\le n$)个元素的所有排列的个数，叫做从$n$个不同元素中取出$m$个元素的排列数，用符号 $A_n^m$表示，计算公式为

$$A_n^m=n\cdot (n-1)\cdot (n-2)\cdots (n-m+1)=\frac{n!}{(n-m)!}$$

组合的定义： 从$n$个不同元素中，任取$m$($m\le n$)个元素并成一组，叫做从$n$个不同元素中取出$m$个元素的一个组合；从$n$个不同元素中取出$m$($m\le n$)个元素的所有组合的个数，叫做从$n$个不同元素中取出$m$个元素的组合数。用符号$ C_n^m$表示，计算公式为

$$C_n^m=\frac{A_n^m}{m!}=\frac{n!}{m!(n-m)!}$$

排列与组合都是计算“从$n$个元素中任取$r$个元素”的取法总数公式，其主要区别在于：如果不讲究取出元素间的次序，则用组合公式，否则用排列公式。排列与组合公式的推导都基于如下两条计数原理：

(1) 乘法原理 如果某件事需要经$k$个步骤才能完成，做第一步有$m_1$种方法，做第二步有$m_2$种方法，……，做第$k$步有$m_k$种方法，那么完成这件事共有$m_1\times m_2\times \cdots \times m_k$种方法。

(2) 加法原理 如果某件事可由$k$类不同途径之一去完成，在第一类途径中有$m_1$种方法，在第二类途径中有$m_2$种完成方法，……，在第$k$类途径中有$m_k$种完成方法，那么完成这件事共有$m_1+m_2+\cdots +m_k$种方法。

古典方法的思想如下：

• 所涉及的随机现象只有有限个样本点，譬如为$n$个。
• 每个样本点发生的可能性相等。
• 若事件$A$含有$k$个样本点，则事件$A$的概率为

$$P(A)=\frac{\text{事件}A\text{所含样本点个数}}{\Omega \text{中所有样本点的个数}}=\frac{k}{n}$$

三、几何方法

确定概率的几何方法的基本思想是：

• 如果一个随机现象的样本空间$\Omega$充满整个区域，取度量大小可用$S_{\Omega }$表示。
• 任意一点落在度量相同的子区域内是等可能的。
• 若事件$A$为$\Omega$中的某个子区域，且其度量大小可用$S_A$表示，则事件$A$的概率为

$$P(A)=\frac{S_A}{S_{\Omega }}$$

四、主观方法

统计界的贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生的可能性所给出的个人信念，这样给出的概率称为主观概率。

1.3. 概率的性质

性质1: $P(\varnothing )=0$

性质2:(有限可加性) 若有限个事件$A_1,A_2,\cdots ,A_n$互不相容，则有

$$P(\bigcup _{i=1}^{\infty }{A}_i)=\sum _{i=1}^{\infty }P(A_i)$$

性质3: 对任意事件$A$，有

$$P(\overline{A})=1-P(A)$$

性质4: 若$B\subset A$，则

$$P(A-B)=P(A)-P(B)$$

性质5:(单调性) 若$B\subset A$，则$P(A)\ge P(B)$

性质6: 对任意两个事件$A,B$，有

$$P(A-B)=P(A)-P(AB)$$

性质7:(加法公式) 对任意两个事件$A,B$，有

$$P(A\cup B)=P(A)+P(B)-P(AB)$$
对任意$n$个事件$A_1,A_2,\cdots ,A_n$，有
$$P(\bigcup _{i=1}^n{A}_i)=\sum _{i=1}^{n}P(A_i)-\sum _{1\le i<j\le n}P(A_i{A}_j)+\sum _{1\le i<j<k\le n}P(A_i{A}_j{A}_k)+\cdots +(-1{)}^{n-1}P(A_1{A}_2\cdots A_n)$$

1.4. 条件概率

1.4.1. 条件概率的定义

所谓条件概率，它是指某事件$B$发生的条件下，求另一事件$A$发生的概率，记为$P(A|B)$，它与$P(A)$是不同的两类概率。

定义： 设$A$和$B$是样本空间$\Omega$中两事件，若$P(B)>0$，则称
$$P(A|B)=\frac{P(AB)}{P(B)}$$
为**“在$B$发生下$A$的条件概率”，简称为条件概率**。

性质： 条件概率是概率，即若设$P(B)>0$，则

(1) $P(A|B)\ge 0,A\in \mathcal{F}$.

(2) $P(\Omega |B)=1$.

(1) 若$\mathcal{F}$中的$A_1,A_2,\cdots ,A_n,\cdots$互不相容，则

$$P(\bigcup _{n=1}^{\infty }{A}_n|B)=\sum _{n=1}^{\infty }P(A_n|B).$$

1.4.2. 乘法公式

性质：

(1) 若$P(B)>0$，则
$$P(AB)=P(B)P(A|B)$$

(2) 若$P(A_1{A}_2\cdots A_n)>0$，则
$$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$$

1.4.3. 全概率公式

性质： 设$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个分割，即$B_1,B_2,\cdots ,B_n$互不相容，且${\bigcup }_{i=1}^n{B}_i=\Omega$，如果$P(B_i)>0,i=1,2,\cdots ,n$，则对任一事件$A$有
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$

对于全概率公式，需要注意以下两点：

• 全概率公式的最简单形式 假如$0<P(B)<1$，则
  $$P(A)=P(B)P(A|B)+P(\overline{B})P(A|\overline{B})$$

• 条件$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个分割，可改为$B_1,B_2,\cdots ,B_n$互不相容，且$A\subset {\bigcup }_{i=1}^n{B}_i$.

1.4.4. 贝叶斯公式

性质： 设$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个分割，即$B_1,B_2,\cdots ,B_n$互不相容，且${\bigcup }_{i=1}^n{B}_i=\Omega$，如果$P(A)>0,P(B_i)>0,i=1,2,\cdots ,n$，则
$$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$

条件概率的三个公式中，乘法公式是求事件交的概率，全概率公式是求一个复杂事件的概率，而贝叶斯公式是求一个条件概率。

1.5. 独立性

独立性是概率论中又一个重要的概念，利用独立性可以简化概率的计算。

1.5.1. 两个事件的独立性

两个事件之间的独立性是指：一个事件的发生不影响另一事件的发生，从概率的角度看，事件$A$的条件概率$P(A|B)$与无条件概率$P(A)$的差别在于：事件$B$的发生改变了事件$A$发生的概率，也即事件$B$对事件$A$有某种“影响”。如果事件$A$与$B$的发生是互不影响的，则有$P(A|B)=P(A)$和$P(B|A)=P(B)$，他们都等价于

\begin{equation}
\label{eq1}
P(AB)=P(A)P(B)
\end{equation}

定义： 如果公式(\ref{eq1})成立，则称事件$A$与$B$相互独立，简称$A$与$B$独立。否则称$A$与$B$不独立或相依。

性质： 若事件$A$与$B$独立，则$A$与$\overline{B}$独立，$\overline{A}$与$B$独立，$\overline{A}$与$\overline{B}$独立。

1.5.2. 多个事件的相互独立性

定义： 设有$n$个事件$A_1,A_2,\cdots ,A_n$，对任意的$1\le i<j<k\cdot \le n$，如果以下等式成立
$$\{\begin{array}{l}P(A_i{A}_j)=P(A_i)P(A_j),\\ P(A_i{A}_j{A}_k)=P(A_i)P(A_j)P(A_k),\\ ⋮\\ P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2)\cdots P(A_n)\end{array}$$
则称此$n$个事件$A_1,A_2,\cdots ,A_n$相互独立。

该博客纯属本人自学笔记，如有疑问请私信！