回顾一下MC 采样：

f(x)是已知 的概率分布函数，现在 找到一系列的x服从这个概率分布。也就是在f(x）当中抽取一些样本x。后来就提出了：

F(x)是f(x)的累积概率分布，只需 在0到1上均匀采样得到i，然后将这个样本带到F(x)的反函数当中得到Xi.这个Xi服从F(x)的概率分布那一定服从f(x)的累积概率密度分布。

现在面临的一个问题是：F(x)已经有了就能采出Xi，但是现在f(x)是已知的，对F(x)求积分不一定好求。

后来冯诺依曼提出了另一个方法，假设一个q(x),

 因为q(x)的积分比较好求，然后采样的方式是和前面的一样的。但是得到的Xi的hi符合mq(x)分布的，不服从f(x).

以mq(x)采样得到的样本只抽取其中的一小部分，以P的概率抽取，这样的方式称之为拒绝采样。

拒绝采样有时候的效率并不是很高，出现了MCMC采样，是基于马尔科夫链采样。

马尔科夫链的性质是：存在一种稳定的分布，如果能找到两个Π之间的转移概率，可以得到转移概率矩阵P，如果一个Π乘上转移矩阵P最后还是等于Π，因为最后的结果求的还是Π（x），假如在Πt达到了稳定分布，那么在Πt之后的Π都会服从Π（x）分布。因为要抽取的样本是服从Π（x）分布的样本，所以抽取的样本就是Πt之后的样本。就完成了一系列采样。

问题是怎么找到转移概率矩阵P,满足等式ΠP＝Π，因为这个等式不好找到，所以就提出了细致平衡等式：

但是在细致平衡等式当中的难点是P还是不好找到，所以就出现了3式，在3式当中 黄色线部分式假设的，强行使得3等式成立，并且与2等式恒成立。

 

黄色圈出来的部分叫做接收概率。

以这样的方式进行采样据满足了ΠP＝Π 的等式。

如果接收概率比较小的时候怎么办，这种情况往往会出现在高维变量中。

 

 所以MCMC 的效率就不是很高，就出现了吉布斯采样。

以二位联合概率分布讲解。我们想得到一系列的x，y服从Π（x,y）分布。

Π（x,y）是折麽样的呢？在平面上任意找一个点（x,y）,这个点的概率是Π（x,y）,采样就是采平面里的点，使这些点的概率符合三维的分布。

现在在平面中任意找一个点A，计算A的概率：

上式是将联合分布转换成了条件分布，体哦阿健概率分布是一维的，联合概率分布是二维的。这样计算简单化了。

现在再假设点B，计算其概率。A，B两点的横坐标是一样的。

上面的两个式子存在很大的相同点，所以做一个等式：

所以经过简单的变换得到等式：

 满足细致平衡条件可以构造马尔科夫链进行采样。

 

上面式子经过重写得到:

上面的 这个式子就是一个典型的细致平衡条件。

如果现在有个点C，和A 是总表表相同的情况下得到的细致平衡条件：

那对任意一个点得到细致平衡条件：

 

 根据上面这个式子是否能够进行愉快的抽样？

对上面改的讲解过程进行总结：首先是构造马尔科夫链进行采样，至少是A到B，A到C是满足细致平衡条件的。因为出现了一个接受概率，但是并不知道再什么样的情况下接受，再什么样的情况下拒绝。但是我们之傲A到B  的转移概率是Π（y2|x1）,这个转移矩阵式已知的，为什么呢？因为Π（x,y）是已知的，所以Π（y2|x1）就是已知的。得到的结论如下：

 现在回到：

任意一个点都能用上面的这个式子嘛？

假设点D，目前上面的推论是不能证明点D能使用这个式子。所以这个式子只允许再平行坐标轴方向上采样。

最后得到结论：

吉布斯采样的步骤：