你的技术前沿之旅,从这里开始
数据泄漏怎样让评测看起来很好
训练与验证共享信息,会削弱对泛化能力的判断。

一、不仅是重复文件
同一资料的问答、翻译和摘要,可能分别进入训练与测试,虽然文本不同,信息仍然重叠。先按原始来源分组,再划分数据,通常比只检查最终样本是否相同更有意义。还要留意标签或答案是否出现在输入的其他字段中,尤其是自动生成的数据集。
二、检查隐蔽的时间线
预测未来事件时,训练资料不能包含事后更新。业务数据里的处理状态、人工结论和后续补充也可能泄露答案。为样本保存采集时间和可用时间,明确测试时系统实际上能知道什么。随机划分并不适合所有任务,时间相关任务需要相应的评测设计。
三、重新解释已有成绩
发现泄漏后修正分区,并重新测量,不把旧高分继续当作正常结果。保存检测方法与影响范围,分析哪些能力仍然有效。数据泄漏不是简单扣掉几个重复样本就结束,还需要检查生成与预处理流程。能解释的信息边界,才是可信评测的前提。
延伸阅读
NeurIPS 论文检查表官方说明:https://neurips.cc/public/guides/PaperChecklist 。资料供核对相关基础概念;本文流程建议需结合具体任务验证。