• 概率论与随机过程课程笔记

---

1. 概率空间与分布函数

1.1 概率空间 { Ω , F , P } \{\Omega,\mathscr{F},P\} {Ω,F,P}

1.1.1 样本空间

• 样本空间 $\Omega$：随机试验所有可能结果组成的集合

1.1.2 事件域

• 事件域 $\mathcal{F}$：$\Omega$ 中某些子集组成的集合，满足

  1. $\Omega \in \mathcal{F}$（这里 $\Omega$ 看作必然事件）
  2. 若 $A\in \mathcal{F}$，则 $A^c\in \mathcal{F}$（$A^c$ 是 $A$ 的余集）
  3. 若 $A_n\in \mathcal{F},n=1,2,...$，则 ${\bigcup }_{i=1}^{\infty }{A}_n\in \mathcal{F}$

• 事件域就是样本空间 $\Omega$ 中所有可能事件的集合，是概率的定义域。只要样本空间的某个子集能算概率，就说明它是一个事件，一定在事件域中。以上三条都能算出概率，因此 $\in \mathcal{F}$

1.1.3 概率

• 概率 $P:\mathcal{F}\to {\mathbb{R}}^{+}$，满足
  1. 非负性：$\forall A\in \mathcal{F},0\le P(A)\le 1$
  2. 规范性：$P(\Omega )=1$
  3. 可列可加性：对于 $A_n\in \mathcal{F},n=1,2,...$ 且两两互不相交，有 $P({\sum }_{n=1}^{\infty }{A}_n)={\sum }_{n=1}^{\infty }P(A_n)$

     注：集合的 $\sum$ 求和代表两层意义，一是说所有集合两两不交，二是说求并集

• 性质
  1. 单调性：设 $A,B$ 是两个事件，若 $A\subset B$，则有 $P(A)\le P(B)$
  2. 加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$
  3. 减法公式：$P(A-B)=P(A)-P(AB)=P(A\overline{B})$
  4. 次可加性：对于 $A_n\in \mathcal{F},n=1,2,...$，有 $P({\bigcup }_{n=1}^{\infty }{A}_n)\le {\sum }_{n=1}^{\infty }P(A_n)$
  5. 逆事件概率公式：$P(\overline{A})=1-P(A)$
  6. 下连续性：若 $A_n\in \mathcal{F}$，且 $A_n\uparrow A$（即 $A_n$ 从左端趋近于 $A$，也即 $A_n$ 严格递增收敛到 $A$，${\bigcup }_n{A}_n=A$），则 $$\underset{n\to \infty }{\lim }P(A_n)=P(\underset{n\to \infty }{\lim }{A}_n)=P(A)$$
  7. 上连续性：若 $A_n\in \mathcal{F}$，且 $A_n\downarrow A$（即 $A_n$ 从右端趋近于 $A$，也即 $A_n$ 严格递减收敛到 $A$，${\bigcap }_n{A}_n=A$），则 $$\underset{n\to \infty }{\lim }P(A_n)=P(\underset{n\to \infty }{\lim }{A}_n)=P(A)$$

1.2 随机变量

• 概率都是对事件而言的，用于衡量事件发生的可能性大小，但由于概率定义域是样本空间中的样本点而不是数，高等数学的分析工具没法使用。为了便于分析，把随机事件数量化，即得到随机变量
• 随机变量：称 $X:\Omega \to \mathbb{R}$ 为随机变量，若 $\forall x\in \mathbb{R}$，有
  { X ≤ x } ∈ F , 或 者 { X < x } ∈ F \{X\leq x\}\in\mathscr{F}, 或者 \{X<x\}\in\mathscr{F} {X≤x}∈F,或者{X<x}∈F
  更进一步，称 F ( x ) = P { X ≤ x } F(x) = P\{X\leq x\} F(x)=P{X≤x} 为随机变量 $X$ 的分布函数

  注：这里 { X ≤ x } \{X\leq x\} {X≤x} 代表样本空间中映射为数后值小于 $x$ 的样本点的集合，即事件域的一个子集。我们知道分布函数描述的就是这个集合的概率，因此其一定是个事件，$\in \mathcal{F}$
  

1.3 分布函数

• 分布函数 $F(x)$ 满足：
  1. $F(x)$ 为非降函数
  2. $F(-\infty )=0,F(+\infty )=1$
  3. $F(x)$ 为右连续，即 $F(x^{+})={\lim }_{y\downarrow x}F(y)=F(x)$
• $F(x)$ 左极限 $F(x^{-})={\lim }_{y\uparrow x}F(y)=P(X<x)$，因此 $F$ 只有跳跃型间断点，且
  $$\begin{array}{rl}{△}_{x}F& =F(x^{+})-F(x^{-})\\ & =P(X\le x)-P(X<x)\\ & =P(X=x)\end{array}$$
  由此可以推出：
  1. 分布函数在任何一 $x$ 点处的振幅，等于随机变量在这个 $x$ 点处取值的概率
  2. 连续型随机变量在单点处取值的概率为0
• 分布函数示例（离散型随机变量）
  
• n元随机变量的分布函数：若 $X_1,...,X_n$ 是随机变量，则称 $(X_1,...,X_n)$ 为随机向量或 n维随机变量，且分布函数定义为
  $$F(x_1,...,x_n)=P(X_1\le x_1,...,X_n\le x_n),x_1,...,x_n\in \mathbb{R}$$

1.4 常用的随机变量

2. Riemann-Stieltjes 积分

• 对于任何随机变量，都有分布函数，根据分布函数性质的不同，可以把随机变量分为
  1. 离散型随机变量：分布函数是折线函数
  2. 连续型随机变量：分布函数是连续可导函数
• 本科阶段，对离散型随机变量和连续型随机变量单独定义了数学期望和条件数学期望。但是还有很多分布函数既不是离散的也不是连续的，怎么对这类一般的分布函数定义数学期望呢 ？这就需要用到 Riemann-Stieltjes 积分。本文先介绍 R-S 积分，然后下篇文章 随机过程（1.2）—— 数学期望与条件期望 再给出数学期望的相关定义

2.1 Riemann-Stieltjes 积分

定义任何积分，都遵循三个步骤：分割、求和、取极限，前两条对于所有积分都是一样的，不同的取极限方式对应了不同的积分

• 定义积分 ${\int }_a^{b}f(x)dF(x)$：

  1. 分割：若 $f(x),F(x)$ 为 $[a,b]$ 上的两个函数，在 $[a,b]$ 上插入分点：
     $$a=x_0<x_1<...<x_n=b$$
  2. 求和：在每一个小区间 $[x_{i-1},x_i]$ 中任选一点 ${\xi }_i$，作和式
     $${\sigma }_n=\sum _{i=1}^{n}f({\xi }_i)(F(x_i)-F(x_{i-1}))$$
  3. 取极限：若当 λ n : = max ⁡ 1 ≤ i ≤ n { X i − X i − 1 } → 0 \lambda_n := \max_{1\leq i\leq n}\{X_i-X_{i-1}\} \to 0 λn​:=max1≤i≤n​{Xi​−Xi−1​}→0 时，${\sigma }_n\to \sigma$，则称 $f(x)$ 在 $[a,b]$ 上关于 $F(x)$ R-S 可积，且记
     $$\sigma ={\int }_a^{b}f(x)dF(x)$$

  Riemann-Stieltjes 积分和常见的 Riemann 积分的区别，仅在于微分元从 $dx$ 变成了 $dF(x)$，可以理解为衡量的尺度发生了变化

• 定理：若 $f(x)$ 为 $[a,b]$ 上的连续函数 / 单调函数 / 不连续点有可数多个的函数，$F(x)$ 为 $[a,b]$ 上单调函数，则 $f(x)$ 关于 $F(x)$ 在 $[a,b]$ 上可积。特别的，当 $F(x)=x$ 时，R-S积分退化为常见的 Riemann 积分

2.2 基本性质

• 以下性质可以通过定义（分割求和取极限）证明
  

2.3 三个重要例子

2.3.1 关于折线函数的 R-S 积分

• 若 $f(x)$ 在 $[a,b]$ 中的点 $c$ 处 连续，令 $F_c(x)=\{\begin{array}{r}p,x\ge c\\ q,x<c\end{array}$，则 $${\int }_a^{b}f(x)d{F}_c(x)=f(c)(p-q)$$
  

2.3.2 关于阶梯函数的 R-S 积分

• 若 $F(x)$ 为阶梯函数（跳跃函数），在 $x_i(i=1,2,...,n)$ 处的振幅为 $p_i$，若 $f(x)$ 在这些间断点处 连续，则 $${\int }_a^{b}f(x)d{F}_c(x)=\sum _{i=1}^{n}f(x_i)p_i$$
• 由此可得离散型随机变量的期望，详见下篇文章

2.3.3 关于连续函数的 R-S 积分

• 若 $F^{\prime }(x)=p(x)$，则 $${\int }_a^{b}f(x)d{F}_c(x)={\int }_a^{b}f(x)p(x)dx$$
• 由此可得连续型随机变量的期望，详见下篇文章