使用cohen kappa系数衡量分类精度

article/2025/8/21 9:19:03

在诊断试验中，研究者希望考察不同诊断方法在诊断结果上是否具有一致性。如评价两个医务工作者对同一组病人的诊断结论的一致性、同一医务工作者对同一组病人前后进行两次观察作出诊断的一致性。1960年Cohen等提出用Kappa值作为评价判断的一致性程度的指标。实践证明，它是一个描述诊断的一致性较为理想的指标，因此在临床试验中得到广泛的应用。下文给出的例子也都是基于医疗诊断的，可见其提出背景。除此之外，kappa系数也可用于衡量分类精度，在kaggle竞赛中经常被用作评价指标，如2019 data science bowl和PetFinder.my Adoption Prediction等等。

由于诊断试验一致性的大小不完全取决于研究者的临床经验和诊断能力，还可能是由于机遇因素的作用，致使不同研究者得出相同的诊断结论。即没有受过专业医疗教育的人对患者进行诊断也可能会得出与专业医生一样的结论，而这种一致性结论完全是由于机遇因素导致的。kappa系数即是在一致性判断中剔除机遇因素的影响。kappa取值为[0,1]，值越大代表一致性越强/分类精度越高。

kappa系数的计算分为以下几类，下面将通过例子介绍这几种kappa系数如何计算。

简单kappa(simple kappa)
加权kappa(weighted kappa)
- 线性加权(linear weighted kappa)
- 平方加权(quadratic weighted kappa)

Simple Kappa

simple kappa的计算公式如下：

$k=\frac{p_{o}-p_{e}}{1-p_{e}}$

其中， $p_{o}$ 代表观察符合率，计算方法为用每一类正确分类的样本数量之和除以总样本数；

$p_{e}$ 代表机遇符合率，计算方法为假设第一个人判断每一类的样本个数分别为a1,a2,...,aC，而第二个人判断每一类的样本个数分别为b1,b2,...,bC，总样本个数为n，则 $\mathrm{pe}=\frac{\mathrm{a} 1 \times \mathrm{b} 1+\mathrm{a} 2 \times \mathrm{b} 2+\ldots+\mathrm{aC} \times \mathrm{bC}}{\mathrm{n} \times \mathrm{n}}$ 。解释这一公式的来源，我们把分母中的一个n除到分子中，则每一个加和部分都除以n，以第一类为例 $\frac{\mathrm{a} 1 \times \mathrm{b} 1}{\mathrm{n}}$ ，将n除给a1，即第一个人判断所有人中有(a1/n)比例的人是属于第一类的，如果他是不受专业限制的随机判断，他也会认为第二个人将b1个人分为第一类的人里有(a1/n)比例的人是属于第一类的，这样相乘我们得到 $\frac{\mathrm{a} 1 \times \mathrm{b} 1}{\mathrm{n}}$ ，也就是在随机判断的情况下两个人判断一致的个数。将所有类别中由于机遇判断一致的个数加和除以总样本数得到机遇符合率。

下文给出一个计算例子：

$P_{\circ}=\frac{(a+d)}{n}=\frac{22+11}{39}=0.8462$

$P_{\mathrm{e}}=\frac{\left(\frac{f_{1} \times g_{1}}{n}\right)+\left(\frac{f_{2} \times g_{2}}{n}\right)}{n}=\frac{\left(\frac{26 \times 24}{39}\right)+\left(\frac{13 \times 15}{39}\right)}{39}=0.5385$

$\kappa=\frac{P_{\mathrm{o}}-P_{\mathrm{e}}}{1-P_{\mathrm{e}}}=\frac{0.8462-0.5385}{1-0.5385}=0.67$

Weighted Kappa

对于有序分类变量的一致性检验应该使用加权kappa系数。当分类类别代表等级分类，例如对疾病严重程度给出诊断，分为最轻到最重的五个等级。我们通常会认为，对同一个诊断的分级差异越大则造成的结果越严重，不一致性越强。例如将一个疾病最重的人判别为最轻和将一个疾病较轻的人判断为最轻带来的惩罚应该是不一样的。加权kappa便是基于这个思想。

线性加权(linear weighted kappa)认为每两个级别之间的差异相等，如果两个判定结果之间差三个类别，那么他们之间的不一致程度刚好是差一类的三倍，权值计算公式如下，其中i,j代表类别编号，其差值也就代表两个类别的距离。N为类别总数。由公式可知，判定结果一致时，权值为0。

$w_{i, j}=\frac{i-j}{N-1}$