1 定义

构念效度是一种实验效度,主要指测量指标测量概念的有效度,或选用的操作化指标能否准确代表背后的理论构念。例如,选用的测量工具(NASA-TLX量表)是否能真实、有效地反映背后的心理状态(脑力负荷)。构念效度是评价量表等测量工具的重要指标,此外还有信度区分度

2 判断依据

构念效度需要多类证据共同支持。

第一类是内容证据,即测量内容是否准确覆盖目标构念的主要范围(即内容效度,content validity)。例如,研究者用问卷测量系统可用性,条目就不能只关注操作速度,还需要涵盖理解难度、错误恢复等内容。内容证据通常来自清晰的构念定义、既有文献与成熟量表、任务分析和专家评审。研究者可以基于构念的定义,检查测量条目或指标是否与定义相对应,是否遗漏了关键维度,是否混入了无关内容,以及各维度的比例是否合理。

第二类是内部结构证据,主要适用于多条目量表或多个指标共同构成的测量工具,指量表条目或多个观测指标之间的关系是否清晰、与构念定义相一致(也叫做结构效度)。如果因变量只是单一反应时、错误率,通常不涉及内部结构检验。典型的场景是因变量的量表包含多个维度,而每个维度包含多个条目。在这种情况下,研究者需要检查其因子结构:同一维度下的条目应当聚合在一起,不同维度的条目应当形成相对清晰的分组,条目不应大量跨维度负载,也不应偏离原本要测量的构念。

因子结构需要在收集到足够的数据量之后才能检验,常用的方法是探索性因子分析(EFA),以及验证性因子分析(CFA)。EFA是数据驱动的,它不需要研究者预先假设因子结构,而是根据数据情况来决定因变量包含多少个因子,每个因子涉及哪些条目。CFA是理论驱动的,需要研究者提出假设的因子结构(因变量有哪些因子,每个因子有哪些条目),然后计算收集的数据是否支持这一假设。在EFA或CFA的基础上,研究者还可以进一步查看:(1)收敛效度(convergent validity),即每个维度下的条目是否共同指向同一维度;(2)区分效度(discriminant validity),即不同维度之间是否保持明显的边界。这些都能帮助确认因变量测量的内部结构清晰合理。

第三类是效标证据,即测量结果是否与其他测量方法、外部标准或相近构念的测量一致(即效标效度,criterion-related validity)。这些用于对比的成熟测量工具或相近构念就是效标。例如,假设研究者设计了新的脑力负荷测量方法,如果这种方法有效,它应当和同一时间的NASA-TLX得分(即效标)正相关,也可能与参试者的任务绩效之间存在关系。常见做法是将测量值与效标值的Pearson相关系数作为效标证据。

这些效度证据在开发新量表或其他测量方法的实验中尤其重要。对于其他实验,研究者不必完整开展量表开发和验证流程,但仍应关注因变量测量的基本效度,尤其是检查内容效度。