一、什么是问卷设计中的交叉验证法
交叉验证法是借鉴机器学习中的模型评估思想，将其应用于问卷预测试阶段的一种系统化方法。其核心思想是将已收集的初步问卷数据分割为多个子集，轮流使用部分数据来‘训练’（分析）问卷结构，并用剩余数据来‘测试’（验证）其效果，从而发现问卷的潜在问题并进行优化。
二、实施交叉验证的四大步骤
一个规范的交叉验证流程能显著提升问卷修订的科学性。
- 步骤一：数据分割 – 将预测试的样本（通常建议N≥100）随机均分为k个子集（常用k=5或10）。
- 步骤二：轮换验证 – 进行k轮分析。每轮使用k-1个子集的数据进行探索性因子分析（EFA）或项目分析，以确定问卷结构。
- 步骤三：一致性检验 – 将k轮分析中得到的因子结构、题目负荷等关键结果进行比较，评估其跨数据子集的稳定性。
- 步骤四：修订与确认 – 保留那些在所有或绝大多数轮次中表现一致、稳定的题目。对结果不稳定的题目进行修改、删除或重新表述。
三、交叉验证 vs. 单次验证：优势对比
相比传统的单次探索性因子分析，交叉验证法在问卷设计中具有独特优势。
| 评估维度 | 单次验证法 | 交叉验证法 |
|---|---|---|
| 结果稳定性 | 结果可能受特定样本影响较大，存在偶然性。 | 通过多次分割测试，结果更稳健，减少了样本偶然性的影响。 |
| 过拟合风险 | 较高的风险，所得结构可能只适用于该特定样本。 | 通过轮流测试，能有效识别并降低过拟合风险，增强外部效度。 |
| 诊断能力 | 难以区分是题目本身问题还是样本特异性问题。 | 能清晰识别出在不同样本中表现不一致的‘问题题目’，诊断更精准。 |
| 对样本量要求 | 有基础要求，但方法本身不涉及分割。 | 对初始预测试的样本量要求相对更高，以确保分割后子集仍有分析价值。 |
四、实践建议与注意事项
使用此法时，务必在预测试阶段就收集足够大的样本量。整个分析过程最好通过统计软件（如R、Python）编写脚本实现，以保证分割的随机性和流程的可重复性。最终，应报告交叉验证的过程和结果一致性情况，作为问卷信效度证据的一部分。