为什么我的模型不工作？

误导性数据是模型失效的首要根源。在新冠预测模型热潮中，Roberts等人的综述发现，多个公开数据集包含重叠记录、错误标注和隐藏变量，使模型能准确预测类别标签却未学到任何有用知识。例如，许多新冠胸部影像数据集中，身体朝向成为隐藏变量：患病者更可能被躺着扫描，健康者则多站立。模型学会了预测姿态而非疾病，导致大量新冠模型在真实场景中无效。

虚假相关则更为隐蔽。经典案例是“坦克问题”：美军试图训练神经网络识别坦克，但模型实际识别的是天气——所有坦克照片都在同一时间拍摄。类似地，许多计算机视觉基准数据集中存在与类别标签虚假相关的背景像素组。深度模型因其强大的模式拟合能力，倾向于捕获这些虚假模式，从而降低泛化性。

数据标注环节同样暗藏风险。MNIST和CIFAR等图像分类基准数据集通常有约2%的误标率，当模型在精度上争夺千分位优势时，这种噪声可能掩盖真实改进。对于情感分类等主观性任务，过度拟合特定标注者的风险更高。

数据泄漏是另一常见陷阱。最典型的错误是在划分测试集之前对整个数据集执行依赖数据的预处理操作，如中心化、缩放、特征选择或数据增强。这些操作隐式地将测试集信息引入训练流程，导致测试性能被高估。即使是最简单的中心化和缩放，若在划分前进行，也会使模型获得不应有的信息优势。

依赖虚假相关性的模型对对抗攻击敏感：对背景像素的微小改动即可翻转预测。对抗训练可缓解此问题，但计算成本高昂。更简便的方法是使用可解释AI技术（如显著性图）检查模型决策依据——若模型关注背景区域，则泛化能力堪忧。

为系统性预防此类错误，REFORMS检查清单等工具已被引入，旨在帮助研究人员在基于机器学习的科学实践中避免常见陷阱。