交叉验证法:理论框架与核心价值
在问卷设计中,交叉验证法是一种通过分割样本数据进行模型或量表验证的统计技术,其核心思想是避免过拟合。在问卷开发阶段应用此法,能够更客观地评估问卷结构的稳定性和测量项目的有效性,为优化量表提供坚实的数据支撑,尤其适用于新编制或重大修订的问卷。
问卷设计中的交叉验证实施步骤
应用交叉验证并非一次性完成,而是一个循环迭代的过程。其核心步骤如下:
- 样本分割:将初始预测试样本随机划分为训练集(用于初步分析与模型探索)和验证集(用于检验结论的稳健性)。
- 在训练集探索:在训练集中进行项目分析、探索性因子分析(EFA)等,初步确定问卷结构和待修订的题目。
- 在验证集验证:使用从训练集得出的结构,在验证集中进行验证性因子分析(CFA)或项目-总分相关分析,检验其信效度指标是否达标。
- 综合评估与修订:对比两组结果,若指标稳定则可定稿;若存在显著差异,则需重新审视题目或结构,并可考虑重复整个流程。
结合统计指标进行结果解读
交叉验证后,需关注关键指标在训练集与验证集上的一致性。例如,验证性因子分析中,模型的拟合指数(如CFI, TLI, RMSEA)应保持相近水平;问卷的内部一致性信度(Cronbach's α)差异不宜超过0.1。这种一致性是问卷结构稳健的重要证据。
优势、局限与最佳实践建议
该方法的主要优势在于其严谨性,能有效防止偶然结果误导最终问卷设计。其局限是对初始样本量要求较高(建议总样本量至少200-300份)。最佳实践是:将交叉验证作为问卷预测试(pilot test)的强化环节,与专家评审、认知访谈相结合,形成“定性-定量”循环优化的完整流程。