1 定义

控制实验(controlled experiment)是一种严谨的定量研究方法,研究者在实验环境受控的情况下,有目的地操纵一个或多个自变量(independent variables,IVs,例如系统特征),同时严格控制或排除其他可能影响结果的额外变量(extraneous variables,例如环境变量、个体差异),进而观察并测量这些自变量对因变量(dependent variables,DVs,例如人的绩效)产生的影响,从而确立变量之间的因果关系。用控制实验来研究人因工程的问题,即人因实验

2 类型

随着我们对某个系统或现象的理解越来越深(理论越来越成熟),实验的目的会有以下4种不同类型:

  1. 探索性实验(what-if实验): 改变自变量来看因变量有何变化,明确如果我这么做会发生什么?也就是进行系统摸底,探索变量间的联系。
  2. 实证建模实验 / 参数估计实验(包括部分基线校准测试和心理物理实验) :已知自变量与因变量之间存在一定的关联,实验的目的是通过精细操纵自变量的梯度变化,来精确测量因变量的响应规律,旨在拟合出准确的数学模型(如对人行为的预测模型)或标定系统的特定边界数值(如某种感知的绝对阈限)。
  3. 验证性实验: 有一个需要验证的理论或主导假设(例如对比研究者提出的界面设计方案与现有基准界面),实验的目的是提供证据来支持或拒绝这一理论或假设。不过,风险是即使数据支持了该理论,也不能排除其他未知理论同样能解释该数据的可能性。
  4. 批判性实验:有多个相互竞争的理论,实验的目的是对这些理论进行区分或证伪。批判性实验体现了波普尔所强调的“可证伪性”(falsifiability):理论必须提出可能被经验结果否定的预测。

科学哲学家卡尔·波普尔在其1934年出版的论著《科学发现的逻辑》(The Logic of Scientific Discovery)中提出。波普尔指出,如果一个理论或假说可以在经实证检验后,被发现逻辑上与实证检验结果存在相抵触之处,它即是可被证伪的(或可被反驳的)(或理论的结论有逻辑上的反例存在)wikipedia

3 操作要点 / 核心特征

  1. 自变量操纵(manipulation of IVs): 根据研究问题,研究者主动设定实验的不同条件或水平(例如:不同透明度等级的AI辅助界面)。
  2. 严格控制额外变量(Control of confounding variables): 采用实验设计或统计控制等手段,消除可能引起因变量变化的非目标因素(如环境噪音、光线、任务难度基线)。
  3. 随机分配(Random Assignment): 如果讨论狭义或严格的“真实验”(与之相对的是准实验,quasi-experiment),需要将参与者完全随机地分配到不同的实验组或控制组,以消除个体差异(如先验经验、性格特征)带来的系统性误差。