一、什么是过拟合
模型对训练的数据进行了过度的学习，没有学习到数据的一般规律，模型在训练数据中的错误越来越少，但是在验证集中的错误越来越大。
二、减少过拟合的方法
1.正则化（L1、L2正则化）
L1正则化是尽量减少绝对值的权重，使w参数尽可能向0靠近，减小了网络复杂度，防止过拟合。
L2正则化在原始的代价函数之后再加上一个正则化项，全部參数 w 的平方和，除以训练集的样本大小n，λ 就是正则项系数，权衡正则项与C0项的比重。另外另一个系数1/2，1/2经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2,与1/2相乘刚好凑整。减小w的值，实现权重衰减。
正则化是为了减小w的值，从而降低模型的复杂度，防止过拟合现象的发生。
2.增大训练的数据集
数据增多，无法过拟合所有的样品，实现模型的泛化。
3.Dropout
通过该变模型的结构，降低过拟合，每一次迭代随机删除一部分的隐藏单元，每一次删除的隐藏单元都不同。
4.迭代次数的增多会出现过拟合现象，在测试集的错误率增多的时候提前终止训练过程。
在大多数情况下，模型从学习正确的数据分布开始，并且在某些时候开始过度拟合数据。