条件随机场模型（Conditional Random Fields, CRF）

条件随机场是给定一组输入随机变量条件下，另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。线性链条件随机场，是输入序列对输出序列预测的判别模型，形式为对数线性模型，其学习方法通常是极大似然估计或正则化的极大似然估计。

1、条件随机场模型概念

条件随机场，设X与Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(V, E)表示的马尔可夫随机场，即:
$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w\sim v)$$
对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场。式中$w\sim v$表示在无向图G=(V, E)中与结点v有边链接的所有结点w, $w\ne v$表示结点v以外的所有结点,$Y_v,Y_u与Y_w$为结点v, u与w对应的随机变量。

2、线性链条件随机场

线性链条件随机场，设$X=(X_1,X_2,...,X_n)$， $Y=(Y_1,Y_2,...,Y_n)$均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔可夫性$$P(Y_i|X,Y_1,...,Y_{i-1},Y_{i+1},...,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$
$$i=1,2,..,n(在i=1和n时只考虑单边）$$
则称P(Y|X)为线性链条件随机场。在标注问题中，X表示输入观察序列，Y表示对应的输出标记序列或状态序列。

3、马尔可夫随机场

马尔可夫随机场（Markov random field）又称为概率无向图模型（probabilistic undirected graphical model）是一个可以由无向图表示的联合概率分布。

设有联合分布P(Y)，由无向图G=(V, E)表示，在图G中，节点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，就称此联合概率分布为马尔可夫随机场（概率无向图模型）。

其中，Y是一组随机变量，由无向图G=(V, E)表示概率分布P(Y)，即在图G中，结点$v\in V$表示一个随机变量$Y_v$, $Y=(Y_v{)}_{v\in V}$；边$e\in E$表示随机变量之间的概率依赖关系。

4、马尔可夫性

（一）成对马尔可夫性：设u和v是无向图G中任意两个没有边链接的结点，结点u和v分别对应随机变量$Y_u$和$Y_v$。其他所有结点为O，对应的随机变量组是$Y_O$。成对马尔可夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独立的，即
$$P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)$$

（二）局部马尔可夫性：设$v\in V$是无向图G中任意一个结点，W是与v有边连接的所有结点，O是v，W以外的其他所有结点。v表示的随机变量是$Y_v$，W表示的随机变量组是$Y_W$，O表示的随机变量组是$Y_O$。局部马尔可夫性是指在给定随机变量组$Y_W$的条件下随机变量$Y_v$与随机变量组 $Y_O$是独立的即
$$P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)$$
在$P(Y_O|Y_W)>0$时，等价地
$$P(Y_v|Y_W)=P(Y_v|Y_W,Y_O)$$

（三）全局马尔可夫性:设几点集合A，B是在无向图G中被结点集合C分开的任意结点集合。结点集合A，B和C所对应的随机变量组分别是$Y_A$,$Y_B$和$Y_C$。全局马尔可夫性是指给定随机变量组$Y_C$条件下随机变量组$Y_A$和$Y_B$是条件独立的，即
$$P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)$$

5、线性链条件随机场整体流程

线性链条件随机场用于标注问题，在条件概率模型P(Y|X)中，Y是输出变量表示标记序列，X是输入变量表示需要标注的观测序列。也把标记序列称为状态序列。
学习时，利用训练数据集通过极大似然估计或正则化的极大似然估计得到条件概率模型$\hat{P}(Y|X)$;
预测时，对于给定的输入序列x，求出条件概率$\hat{P}(y|x)$最大的输出序列$\hat{y}$。

Reference

1.《统计学习方法》，李航著
2.《机器学习》，周志华著