Kappa系数用于一致性检验

也可以用于衡量分类精度

kappa系数的计算是基于混淆矩阵的

kappa计算结果为-1~1，但通常kappa是落在 0~1 间，可分为五组来表示不同级别的一致性：0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)。
引自百度百科Kappa系数

公式

$k=\dfrac{p_o-p_e}{1-p_e}$

$p_o$是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度

假设每一类的真实样本个数分别为$a_1,a_2,...,a_C$

而预测出来的每一类的样本个数分别为$b_1,b_2,...,b_C$

总样本个数为n

则有：$p_e=\dfrac{a_1\times b_1+a_2\times b_2+...+a_C\times b_C}{n\times n}$

例子

上图就是个混淆矩阵

$p_o=\dfrac{239+73+280}{664}=0.8916$

$p_e=\dfrac{261\times 276+103\times 93 +300\times 295}{664\times 664}=0.3883$

因此：

$k=\dfrac{0.8916-0.3883}{1-0.3883}=0.8228$