参考网站:
http://bbs.pinggu.org/thread-1518929-1-1.html
深度学习中train test validation三种数据之间的区别
training是训练数据,拿来拟合模型,就是用这部分数据来建立模型,这个相信大家都明白。
validation是验证数据,刚才说training建了一个模型,但是模型的效果仅体现了训练数据,但不一定适合同类的其他数据,所以我们会在建模前会将数据分成两部分,一部分为训练数据,一部分为验证数据(两部分数据的比例大致为7:3,这取决于你验证的方法,详细说明我从网上摘了下放在本次说明的最下边,但愿你能看懂);另外,你也可能训练多个模型,但不知哪个模型性能更佳,这时可以将验证数据输入不同模型进行比较。
test是测试数据,它跟前两者的最大区别在于:training和validation数据均是同一时期的数据,如都是5-7月数据,但既然是测试,我们就需要用跨期的数据来验证模型的稳定性,此时,可采用8月单月数据或9月单月数据对建好的模型进行测试,看性能有没有下降或偏移。
training test validation 各有其用,实践中有了体会