原文地址：https://www.jianshu.com/p/d12c98c1525d
一、模型选择
如何选择?
- 视觉上 NO
不是所有资料都能可视化；人脑模型复杂度也得算上。 - 通过(E_{in}) NO
容易过拟合，泛化能力差。 - 通过(E_{test}) NO
能保证好的泛化，不过往往没法提前获得测试资料。
折中：将样本资料分为两部分。一部分用作训练，一部分用作验证。
二、验证
基于验证集的模型选择：
- 利用所有训练数据训练所有模型，得出各个模型下的最优假设；
- 计算验证数据在各个模型最优假设下的代价值，选择最小代价值的模型；
- 利用全部样本数据训练选出来的模型，得到最优假设。
如何选择(K)?
通常，(K)取样本总数的1/5。
注意：validation不见得比较慢（训练数据变少了）。
三、留一交叉验证
四、V折交叉验证
留一交叉验证速度慢以及存在不稳定性，实际中通常不怎么用。
将留一中的一个变为一份 ------> V折交叉验证。
V常取5或10。
