相信你对马尔科夫这个词一定不陌生，因为在人工智能机器学习领域，这个词是避不开的，如马尔可夫链（Markov chain)，马尔科夫随机场(Markov random field)，马尔可夫过程(Markov process)，隐马尔可夫模型(Hidden Markov model)，怎么这么多马尔科夫。。。这篇文章主要讲的是马尔科夫过程的一些基础的概念和理解。

马尔可夫性质是一种很有效的简化模型的工具，只要你说某过程具有马尔可夫性质，就说明该过程无后效性，什么意思呢？就是说下一刻的状态只和我这一刻的状态有关，和我之前的状态是没有关系的，这就是马尔可夫性。你会说这个太理想了，你说得对，但是就算这个模型很理想，它也足以能够解决很多实际的问题。数学当中也是，有些人总是纠结这个模型好像和现实中不符，太过于简单化，不完美，不精确。但是你要真的用一个很精确的模型去做，你做得出来个鬼，根本得不到结果好嘛，所以不要纠结这个马尔可夫性是不是不完美，它是没问题的。

用数学表达就是：

P{X(m+1)=j|X(1)=i1,X(2)=i2,......X(m)=im}=P{X(m+1)=j|X(m)=im}

好了，比如现在我们知道当前时刻的状态，那么如何才能知道下一个时刻的状态呢？这就引出了一个转移矩阵，注意，这个矩阵是很关键的，因为它是整个状态转移的一个描述，假设有状态空间有n个状态，那么转移矩阵就是一个nxn的方阵，每一行相加为1，代表从一行转移到各个列代表状态的概率。

如果转移矩阵不依赖与初始时刻，那么这个Markov链就叫做齐次马尔可夫链。

马尔可夫链的各个节点的状态可以进行分类：常返态与非常返态，常返态又可以分为：零常返和正常返。其中有一些判定状态的理论，如fjj=1是正常返，fjj<1是零常返。这里面字符很多，关系很杂，可以看看下图。

简而言之呢，常返态就是能形成常返闭集的一些状态，而非常返，就是在一定次数转移之后，再也不会回来的状态。常返态的状态虽然要回来，但是如果平均回转时间有穷，那么是正常返，如果是无穷，则是零常返。

马尔可夫链的极限分布和平稳分布：

马尔可夫链的极限分布，就是马尔可夫链经过无限长时间的转移，达到的最终状态，这个状态之和转移矩阵有关，与初始状态无关。计算极限分布也很简单，因为在无限步转移之后，马尔可夫链再转移一步，它的状态不会改变，所以可以用 a* P =a;其中，a就是极限分布。这里有个条件，就是说对于不可约遍历链，极限分布就是平稳分布，并且还是唯一的平稳分布。而对于不可约非周期的markov链呢，（1）每一状态是正常返，则极限分布是平稳分布且唯一。（2）状态是非常返或零常返的，平稳分布不存在。

对于马尔可夫链的平稳分布有什么用处呢，大家如果听过MCMC算法（马尔可夫链蒙特卡洛算法）就知道，这个算法是通过构造平稳分布符合分布要求（P）的马尔可夫链，然后再从马尔可夫链中进行采样，这个样本应服从于分布P,于是通过得到的样本，可以推断概率图模型，达到近似推断的目的。

文章讲得粗浅，刚考完随机过程，小小总结一下，打公式也麻烦，只能将就看了。

The End。