转自:http://blog.sciencenet.cn/blog-677221-1049350.html
贝叶斯与逆概率问题
对于“白球黑球”的概率问题。概率问题可以正向计算，也能反推回去。
（1）盒子里有10个球，黑白两种颜色，如果我们知道10个球中5白5黑，那么，从中随机取出一个球，这个球是黑球的概率是多大？
（2）假设我们预先并不知道盒子里黑球白球数目的比例，只知道总共是10个球，那么，随机地拿出3个球，发现是2黑1白。逆概率问题则是要从这个试验样本（2黑1白），猜测盒子里白球黑球的比例？
贝叶斯感兴趣的是反过来的问题（可称之为逆概率问题）：逆概率问题，就是从样本数据来猜测概率模型的参数
为了解决逆概率问题，贝叶斯在他的论文中提供了一种方法，即贝叶斯公式：
后验概率 = 观测数据决定的调整因子×先验概率 （1）
根据贝叶斯公式，利用先验知识与观察数据一起，可决定假设的最终概率，以允许对某种不确定性逐步调整后验概率并做出最终的概率预测。
分布之分布
虽然大家都可以使用贝叶斯公式，但使用的方法却可以五花八门，一是确定先验概率的方法便有多种多样，二是要对未知的不确定性作出预测，那么，如何理解这种“不确定性”？这种不确定性是固有的客观存在吗？
比如说抛硬币实验，每次实验可以用随机变量X表示，X服从二项分布或伯努利分布。如何“猜测”抛硬币时正面出现的概率p？（1）频率学派认为模型参数p是固定的客观存在的
频率学派对于p的估计：
频率学派认为p有一个固定数值，也就自然而然地认为决定这个数值的比较好的方法就是多次试验，不停地抛硬币，记录其中正面出现的频率，实验次数足够大的时候，就能越来越逼近p的真实数值，比如说，抛了1000次，正面601次，得到频率p（1000）=0.601，大概可以预测p=0.6。
（2）贝叶斯学派则把模型的参数p也当作一个不确定的随机变量P，认为它符合某种分布。所以，对贝叶斯学派而言，硬币实验中有两类随机变量：硬币“正反”的一类随机变量X，和表征硬币偏向性的另一类随机变量P。因为P是建立在随机序列X的模型参数之上的随机序列，因此，其分布被称为“分布之分布”。
贝叶斯学派对于p的估计：
贝叶斯学派并不假定p有一个“客观”数值，而是认为p也对应一个随机变量Y，可以取0到1之间的任何值，但可能服从某种分布（均匀、正态、或其它），实验次数的增多可以对此分布的情况了解更多。这样一来，使用贝叶斯公式，便可以逐次修正Y对应的分布：
后验概率分布 = 观测数据决定的调整因子×先验概率分布
将上式表达得稍微“数学”一点：
P(Y|数据) = {P(数据| Y) / P(数据)} * P(Y) = 似然函数* P(Y) （2）
P(数据)可以暂不考虑，以后会放到概率的归一化因子中。
Beta分布
公式（2）中的P(Y)是先验分布，P(Y|数据) 是考虑得到了更多数据条件下的后验分布，P(数据| Y)是（正比于）似然函数。
以简单的“抛硬币”实验为例，首先研究一下似然函数。对硬币“正反”随机性X对应的二项离散变量，事件要么发生（p），要么不发生（1-p）。如果发生m次，不发生n次，似然函数的形式为：
Pm（1-p）n
如果我们能找到一种分布形式来表示先验分布，乘以似然函数后，得到的后验分布仍然能够保持同样的形式的话，便不仅具有代数公式的协调之美，也会给实际上的计算带来许多方便之处。
很幸运，beta分布就具有我们要求的性质。具有上述性质的分布叫做“共轭先验”，beta分布是二项分布的共轭先验：
f(x; a, b) =xa-1(1-x)b-1/B(a,b) （3）
beta分布用f(x;a,b)表示，其中的B(a,b)是通常的由gamma函数定义的beta函数，在这儿意义不大，只是作为一个归一化的常数而引进，以保证概率求和（或积分）得到1。
简单举例
事实上，仅仅从硬币物理性质的角度来看，频率学派的观点似乎言之有理。硬币正反面的偏向性显然是一种固定的客观存在。但是，除此之外，还有很多其它不确定性的情况，就不见得符合这种“参数固定”的模型了，比如量子现象是其中1例。下面再举一个简单例子：
用简单的“雨”或“无雨”来表示某城市气候中的“雨晴”状态。该城市已经有了10天的“雨晴”记录，其中3天有雨，7天无雨，因而可以由此记录得到一个beta先验分布：f(雨; 3, 7)。
然后，再过了8天之后，观测到了新的数据：其中7天有雨1天无雨，后验概率仍然是一个beta分布，不过参数有所改变：f(雨; 10, 8)，见下图。
