CTT(classical test theory)

历史

由Novick(1996)提出， 在Lord & Novick (1968) 和 Allen & Yen (1979/2002)中有描述。

定义

$$X_{observedscore}=T_{truescore}+E_{error}$$

可信度为
$${\rho }_{XT}^2=\frac{{\sigma }_T^2}{{\sigma }_X^2}=\frac{{\sigma }_T^2}{{\sigma }_T^2+{\sigma }_X^2}$$
因为$T_{truescore}$未知，所以无法直接计算可信度

parallel test

一个方法是进行parallel test,
即定义
$$\epsilon (X_i)=\epsilon (X_i^{{}^{\prime }})$$
$${\sigma }_{E_i}^2={\sigma }_{E_i^{{}^{\prime }}}^2$$
则
$${\rho }_{X{X}^{{}^{\prime }}}^2=\frac{{\sigma }_{X{X}^{{}^{\prime }}}}{{\sigma }_X{\sigma }_{X^{{}^{\prime }}}}=\frac{{\sigma }_T^2}{{\sigma }_X^2}=\frac{{\sigma }_T^2}{{\sigma }_T^2+{\sigma }_X^2}$$
parallel test同样很难实现

Cronbach’s $\alpha$

所以考虑另一个方法
一个测试由$k$项组成，第$i$个人的总成绩由这$k$项的成绩相加得到，
$$X_i=\sum _{j=1}^k{U}_{ij}$$
$$\alpha =\frac{k}{k-1}(1-\frac{\begin{array}{c}{\sum }_{j=1}^k{\sigma }_{U_j}^2\end{array}}{{\sigma }_X^2})$$
$\alpha$是reliability的一个下界, 但是其每个值所表示的意义经过论证，只有经过实践经验所测定的意义。
$\alpha >9$意味着test中的items(测试项)有多余
$\alpha \approx 8$是推荐的值，但是对于高风险测试(GRE, GMAT)，$\alpha .9+$是推荐的范围

项目评估

一个测试中的各个项目的评估要使用两种方法

P-value

p-value被称为项目难度指数

item-total correlation

item-total correlation被称为项目区分度指数

缺点

CTT的一个目的是预测一个人在一个测试中的表现(分数)，但是：

• 参加测试的人和对应的测试不可分割：同一个人在不同测试中的表现可能不同
• reliability的定义是测试分数在平行测试中的相关性，但是平行测试的定义不统一
• 论证假设测试误差是相同的，但实际上不是：一个人的能力和测试得到的分数不是线性相关的，想要从50分考到60分很容易，但是想要从90分考到100分却很难
• 不能直接观察测试者在不同项目中的表现

IRT(Item response theory)

对于CTT的改进

• 以项目为单位，而不是CTT中的以测试为单位
• 参数具有不变性：在项目反应理论下，项目的难度参数、区分度参数及被试的能力参数具有不变性。
• 在 IRT 中引入了项目特征曲线，这将项目难度、项目区分度以及被试的能力进行了有机的统一。
• IRT 中的信息函数反映了在不同的能力水平处，每个项目所提供的信息量的大小，信息量最大处的能力水平估计误差最小
• 被试的能力参数与项目的难度参数是定义在同一个量表上的，当一个被试的能力参数已知时，配一个项目参数已知的测验，即可预测被试的正确反应概率。

定义

IRT的基本思想是，对一个项目正确的回答是一个概率，那么最后的表现和分数就是一个关于人和项目参数的函数。

三大假设

• 由$\theta$表示的被测试者的一维特征，及其某一方面的能力
• 项目的局部独立性：假设被试在每一个项目上的作答反应是相互独立，互不影响的，作答反应只与被试自身的能力水平有关，与其他元素无关。
• 被测试者对一个项目的作答可以可以通过一个数学函数IR(item response function)来建模

IRF

IRF给出了具有特定能力水平的人正确回答问题的概率。

3PL(three parameter logistic model)

$$p_i(\theta )=c_i+\frac{1-c_i}{1+e^{-a_i(\theta -b_i)}}$$
$\theta$被定义为人的能力是一个正态分布的样本
$a_i,b_i,c_i$是项目的参数
$i$是项目类型

IRF形态

参数	定义	解释
$\theta$	被试的能力值	表示被试在项目或题目所要考核的知识点或能力方面的掌握程度
$a_i$	项目的区分度系数	表示项目或题目的区分度，在曲线中影响曲线中部的斜率，当斜率越小，那么就很难将被试的测试分数结果区分开
$b_i$	项目的难度系数	表示项目或题目的难度，在曲线中代表曲线横轴方向的位移，难度系数越大，则被试想要获得比较高的分数就需要比较高的能力
$c_i$	项目的猜测系数	表示即使被试对测试的项目一点先验知识都没有，靠蒙也能蒙对的概率，比如选择题有0.25的概率
纵轴($p_i(\theta )$)	被试做对该项目的概率

PL模型分类

参数数量	参数	解释
1	$b_i$	认为$c_i$是能力的一部分,且$a_i$被认为是相同的
2	$a_i,b_i$	没有$c_i$
3	$a_i,b_i,c_i$
4	$a_i,b_i,c_i,d_i$	$d_i$被定义为上渐进线

逻辑正态模型

基于正态分布构建IRF
$$p_i(\theta )=\Phi (\frac{\theta -b_i}{{\sigma }_i})$$

参数	定义	解释
$\theta$	被试的能力值	表示被试在项目或题目所要考核的知识点或能力方面的掌握程度
$b_i$	项目的难度系数	表示项目或题目的难度，在曲线中代表曲线横轴方向的位移，难度系数越大，则被试想要获得比较高的分数就需要比较高的能力
${\sigma }_i$	项目的区分度	第$i$项测量误差的标准差，相当于$1/a_i$
纵轴($p_i(\theta )$)	被试做对该项目的概率

模型拟合分析

如果数据不能良好的拟合模型，说明测试项不够好，但应该再找出无法良好的拟合的原因后再删除后者改进测试项，因为比如，一个英语非母语的人参加测试，得出的数据无法拟合模型，不能说明改模型有问题，而是应该这个人不是目标测试人群。所以数据有偏差。

项目信息

CTT中reliability的定义相当简单，就是实际分数和观察分数方差的比值。
但是分数不是呈线性分布的，在测试范围的边缘部分相比于中间部分会有更多的错误。
所以IRT用项目和测试信息来代替CTT中的reliability。根据费雪信息理论，项目信息为：
$$I(\theta )=p_i(\theta )q_i(\theta )$$
这个估计的标准差为：
$$SE(\theta )=\frac{1}{\sqrt{I(\theta )}}$$
这个公式表示项目的信息越多，测试的误差越小

两个参数模型

$$I(\theta )=a_i^2{p}_i(\theta )q_i(\theta )$$

三个参数模型

$$I(\theta )=a_i^2\frac{(p_i(\theta )-c_i{)}^2}{(1-c_i{)}^2}\frac{q_i(\theta )}{p_i(\theta )}$$
因为每个项目之间是独立的，所以整个测试的信息是每个项目信息的简单加和