联合概率 (Joint Probability)

所有条件同时成立的概率。
P(a,b)
注意： P(a;b)表示a是随机变量，b是a这个随机变量分布的参数（比如正态分布中的均值 $\mu$ 和标准差 $\sigma$ ）

边缘概率（margin probability）

参考来源

对于离散型随机变量，我们可以通过通过联合概率 P(x, y) 在 y 上求和，就可以得到 P(x)。对于连续型随机变量，我们可以通过联合概率 P(x, y) 在 y 上的积分(无限求和)，推导出概率 P(x)。这个时候，我们称 P(x) 为边缘概率。
边缘概率是与联合概率对应的，P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率

贝叶斯定理（Bayes’ Theorem）

参考来源 wiki百科
在这里插入图片描述

prior，posterior，likelihood：

概率与似然的区别

https://www.zhihu.com/question/50828855/answer/161719316
https://stats.stackexchange.com/questions/2641/what-is-the-difference-between-likelihood-and-probability
likelihood：似然
probability：概率

概率（probability)和似然（likelihood)，都是指可能性，都可以被称为概率，但在统计应用中有所区别。 Denote the observed outcomes by O and the set of parameters that describe the stochastic process as θ.

1.概率是给定某一参数值，求某一结果的可能性的函数。

P(data | distribution) P(O|θ)
data可变，distribution不变
例如，抛一枚匀质硬币，抛10次，6次正面向上的可能性多大？解读：“匀质硬币”，表明参数值是0.5，“抛10次，六次正面向上”这是一个结果，概率（probability)是求这一结果的可能性。

2.似然是给定某一结果，求某一参数值的可能性的函数。

**L(distribution | data) ** L(θ|O)
distribution 固定， data 可变
例如，抛一枚硬币，抛10次，结果是6次正面向上，其是匀质的可能性多大？解读：“抛10次，结果是6次正面向上”，这是一个给定的结果，问“匀质”的可能性，即求参数值=0.5的可能性

名词解释

以下先验、后验、likelihood都是以A为主体。

先验概率（prior）：
- 独立事件发生的概率。即P(A) , P(B)。即：边缘概率。该概率与其他任何事件都无关，获得这个概率唯一的办法就是根据人类的先前知识（就是靠人类“思考/猜测/推断”出一个值），所以叫“先验概率”。
后验概率（posterior）：
- 已知结果B，导致该结果的原因是A的概率就是A given B的后验概率。P(A|B)。即：条件概率。发生结果后才获得的概率，所以叫“后验概率”。
likelihood：
- $L (A ∣ B)$ : The likelihood of A given a fixed B
- 等于 P(B|A)
- 为什么L(A|B)=P(B|A)??? 因为by definition the likelihood function is conditioned on the observed O and that it is a function of the unknown parameters θ。即：L(θ|O)=P(O|θ)。