本文是Andrew Ng在Coursera的机器学习课程的笔记。
动机
当一个算法在训练集表现优秀，但在测试集表现不佳时，我们需要考虑如何改良算法。方法包括：
- 修改拟合函数的最高阶数
- 增加或者减少特征数
- 修改regularization参数λ
- 增加样本数，扩大数据集
- ...
该从何处下手？乱试是不行的，我们可以按照以下步骤来评估各种方法的效能。
在评估之前，我们先将数据集划分为{训练集，交叉验证集，测试集}三个子集，这三个子集可以分别占总集的60%，20%，20%，我们用训练集来训练模型，用交叉验证集来挑选模型参数，用测试集来测试模型的泛化能力。
挑选拟合函数
拟合函数的阶数太小的时候，拟合函数表现能力弱，太大时，表现能力加强。因此，拟合函数的阶数：
- 过小时，容易发生欠拟合
- 过大时，容易发生过拟合
对于神经网络，增加hidden layer相当于增加拟合函数的阶。增加hidden layer、多项式组合等，都是增加feature的个数的方法。
正则化参数
正则化参数用于限制学习得到的参数，使参数不会太大，以此来防止过拟合。
- 过小时，限制有限，容易发生过拟合
- 过大时，限制过度，容易发生欠拟合
数据集合大小
给定一个数据集合，如果我们学到一个欠拟合模型，那么：
- 数据集很小时，训练集的误差代价比较小，但是交叉验证集的误差代价会很大
- 数据集很大时，训练集和交叉验证集的代价都会很大
反之，如果我们学到一个过拟合模型，那么：
- 数据集很小时，训练集的误差代价比较小，但是交叉验证集的误差代价会很大（同上），二者之间存在较大的的gap
- 数据集很大时，模型的泛化能力变强，不再容易出现过拟合现象，训练集和交叉验证集的误差代价都会降下来
小结
一个判断欠拟合（high bias）还是过拟合（high variance）的方法：
- 欠拟合：J_train 和 J_cv 的值相近，且都很大
- 过拟合：J_train 值很小，且 J_cv 的值远大于J_train的值
(2014年7月25日补充)
在作业中，利用梯度下降法计算θ的值时，需要考虑正则项，但是计算代价函数J_train与J_cv时，不考虑正则项。