一、问卷质量控制的痛点与机器学习的价值
传统问卷质控多依赖固定规则，例如作答时长过短、缺失率超标、连续直线作答等，规则阈值需要人工反复设定，且难以识别模式化的敷衍填答、答题机器人和雇佣代填等隐蔽问题。机器学习可以从作答时长、选项分布、题目一致性、文本语义、设备与网络特征等多维数据中自动学习有效样本与无效样本的差异，实现批量化的自动评分与分层预警，大幅提升清洗效率并降低主观误判。
二、常用算法与典型应用场景
- 孤立森林与LOF：无需标注即可检测异常，适合识别作答时长异常、选项分布反常的样本。
- 随机森林与GBDT：基于历史人工标注样本训练二分类模型，输出无效问卷概率，可解释性强。
- 文本向量与聚类：对开放题答案做语义相似度计算，识别复制粘贴、模板化与答非所问。
- 深度序列模型：建模答题轨迹与时间序列，捕捉刷题机器人和极速填答行为。
三、落地实施的四个关键步骤
- 特征构建：整合时长、题项方差、矛盾项、地理与设备指纹等指标。
- 标注训练：由人工复核形成正负标签，训练基线模型并交叉验证。
- 阈值调优：在准确率与召回率之间权衡，设定剔除与预警双阈值。
- 人机协同：边界样本交由人工终审，判定结果持续回流优化模型。
四、效果评估与使用建议
建议以混淆矩阵、精确率、召回率和F1值评估模型表现，并完整保留剔除日志以便追溯和申诉。实践中不宜完全依赖算法自动删除样本，应保留人工抽检环节，避免误删有效问卷引入偏差；同时对IP、设备号等敏感特征做脱敏处理，确保数据采集与处理符合个人信息保护相关合规要求。