1 定义

区分度(discrimination)指测量指标能否把不同水平或不同实验条件的差异拉开。如果指标区分度不足,实验操纵即使真实有效,也可能因为因变量分布过度集中而无法表现出来。
对于量表或测验,区分度包含两个层级:(1)整个测量指标或量表总分的区分能力,即总分分布是否足够分散,体现个体差异或条件差异;(2)单个条目的区分能力,即条目区分度(item discrimination),指某一题或某一条目能否有效区分总分较高或较低的参试者。

2 类型

2.1 总分的区分度

在整体测量指标层面,区分度表现为分数是否具有足够变异。例如,任务过于简单时,大多数参试者都接近满分,错误率接近零;量表条目过于笼统或选项范围过窄时,参试者可能集中选择同一选项。大量参试者集中在最高值附近,叫做天花板效应(ceiling effect);反之,大量参试者集中在最低分附近,叫做地板效应(floor effect)。两者都会使方差缩小,降低组间比较、相关分析和回归分析等统计检验的效果。在预实验阶段可以通过直方图等方式先检查因变量测量值的分布情况,避免这两种效应。

整体量表或总分的区分度还可以用Ferguson’s δ来反映。这个指标关注总分是否充分分散到可能的得分类别中,而不是集中在少数几个分数上(即得分分布在多大程度上接近均匀分布)。对于二分计分(条目取值为0或1)的量表,其基本形式如公式6-1所示。其中,是样本量,是条目数量,那么总分所有可能的取值范围是从0到k的整数(共个取值个数)。是第i个可能的总分上的人数(i取值即0到k的整数)。所得到的δ取值为0到1,越接近1,代表总分越分散。

\qquad \text{(6-1)}$$ 不过,我们常用的李克特量表条目多为5点或7点,每个条目都会有多个水平或选项。假设一个条目共有m个选项,Ferguson’s δ可以推广为公式6-2。其中,$1+k(m-1)$ 表示可能出现的总分取值个数。同样,所得到的$\delta_G$取值为0到1,越接近1,代表总分越分散。

\delta_G=\frac{n^2-\sum f_i^2}{n^2-\frac{n^2}{1+k(m-1)}}
\qquad \text{(6-2)}$$

2.2 条目的区分度

在条目层面,区分度关注单个条目是否能区分高总分和低总分参试者。最直观的方法是高低分组法。研究者先按照总分或其他外部标准将参试者排序,取高分组(例如前27%的参试者)和低分组(后27%的参试者),再比较两组在某一条目上的表现。对于能力测验中某一题的区分度,可以计算该题目的区分度指数(item discrimination index),如公式6-3所示。其中,U是高分组答对该题的人数,L是低分组答对该题的人数,是每组人数。

IDI=\frac{U-L}{N_{group}} \qquad \text{(6-3)}$$ IDI取值为-1到1。IDI越大,说明该题越能区分高低水平参试者,大于0.4代表条目区分能力合格,低于0.2则说明区分能力较弱。如果IDI小于0,说明低分组反而表现更好,通常代表题目设计可能存在问题。IDI的计算只适用于二分计分(即对或错),不适用于李克特量表。对于李克特量表,高低分组法的差异可以通过[[假设检验]]来判定(例如对二者进行[[t检验]])。 条目层面的区分度还可以通过**条目-总分相关性**来判断,也就是对于某一条目,直接计算每个参试者“该条目的得分”与“删除该条目后的量表总分”之间的[[Pearson相关系数]]。如果小于0.3,则需要检查该条目是否偏离了总体。 # 3 扩展 以上条目层面的方法都基于经典测量理论(CTT)。另一条思路是采用条目反应理论(item response theory,IRT)。IRT的核心思路是建立参试者潜在特质或能力水平与**条目反应概率**之间的关系。研究者假定每个参试者都有一个不可直接观察的潜在特质水平,记为θ。例如,在能力测验中,θ可以表示能力水平;在量表中,θ可代表某一心理构念的水平。当参试者的θ不同时,他们在某个条目上答对、选择高分选项,或作出某类反应的概率$P(\theta)$如何变化。以θ为横轴、$P(\theta)$为纵轴,就可以得到条目特征曲线,拐点处的斜率越高,代表区分度越大。详细内容可参考: * 双参数逻辑模型(2PL):Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. In F. M. Lord & M. R. Novick (Eds.), *Statistical Theories of Mental Test Scores*. Addison-Wesley. * 等级反应模型(GRM):Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. _Psychometrika_, _34_(S1), 1-97.