1.如何改进性能不好的学习算法
图1.运用到测试集上效果不佳
当进行一个正则化线性回归时，最小化了代价函数得到参数，但是运用到新的测试集上，发现效果不好，那么如何改进？
1).增加训练集。但是实际上花费的时间更多，效果并不好。
2).选取更小的特征集合。
3).获取更多特征。
4).加入多项式特征项。
5).增大/减小 正则项系数lmda。
选择这些方法时，人们大都是根据直觉来的，随便选其中一个，但是发现效果并不好。接下来会介绍一些诊断法。
2.评估假设
图2.选取训练集与测试集
选取总的集合的70%作为训练集，剩下30%作为test set测试集，如果整个数据集是有序的，那么应该先乱序排列再选取集合。
图3.逻辑回归中的0/1错误分类度量
最小化代价函数，注意m_test中是测试集中数据量，设置的阈值时0.5，那么当>=0.5时，y=0,以及<0.5时，y=1这两种情况都是1，else就是0，那么测试错误率就是在整个测试机上求和/m.
3.模型选择和训练、验证、测试集
图4.模型选择
如果是进行多项式拟合的话，那么可以选择d，也就是幂次，如选择d=5时，计算其在测试集上的损失函数，很可能是最优的，那么就选d=5。
图5.训练、交叉验证、测试集
三者的比例是60%\20%\20%.通常是这样。cross validation(CV)
图6.训练、交叉验证、测试误差
图7.模型选择
首先是最小化训练误差，再计算每个模型的在验证集上的验证代价，并选择最小的，使用4模型在测试集上的估计泛化误差。当测试集较大时，将其分为验证集和测试集比较好。
4.诊断偏差与方差
如果一个学习模型表现的不好，那么有两种可能的原因，一种是偏差过大，一种是方差过大，或者两者都有关；也就是过拟合和欠拟合的问题。
图8.偏差/方差初步
中间的图表示：横轴表示d,即最大幂次，拟合程度，紫色曲线表示训练误差，肯定是越来越小，趋近于过拟合；红色曲线表示验证误差，U型，当过小或者过大时，出现欠拟合和过拟合情况。
图9.方差/偏差
假如一个训练好的学习模型有着很大的验证误差代价或测试代价，那么到底是一个偏差问题还是方差问题呢？
欠拟合（偏差）：从图形上可以看出，当训练误差也很大，即训练误差≈验证误差，那么就是偏差问题。
过拟合（方差）：从图上可看出，当训练误差小时，&&验证误差远远大于训练误差，就是方差问题。
5.正则化和偏差、方差
这节深入讲解正则化是如何影响偏差和方差的。
图10.线性回归中正则化与偏差、方差关系
在正则化项中，当lamd取值很大时，对参数theta的惩罚很大，那么就趋近于=theta_0，得到一条水平直线，这就是大lmda对应高偏差（欠拟合问题）。
在正则化项中，当lamd取值很小时，即相当于没有正则化，那么会出现高方差（过拟合）。
只有当lmda不大也不小时，才能够得到一个拟合度好的学习模型。
图11.如何选择一个正则化参数lmda
选择2倍长的lmda，通过最小化训练机上的代价函数得到12组不同的参数theta，并且在验证集上验证，得到一组表现最好的，就选择其theta和对应的lamd，比如说是第5组，然后在测试集上得到测试误差。
图12.lamd大小与欠拟合过拟合
训练误差曲线没有包括正则化项。
对于训练误差来说，当lamd较小时，即不进行正则化，则训练误差较小（出现高方差情况）；当lamd较大时，出现高偏差，欠拟合。
对于验证误差，是U型曲线。在实际情况下，曲线没有这么平滑，会有许多噪点。
6.学习曲线
学习曲线可以用来判断一个学习模型是偏差、方差还是二者皆有。
图13.学习曲线
如图的学习曲线，横轴是测试集的大小，当m=1,2,3很小时，曲线能够很好地拟合，此时训练误差=0，有正则化项时稍大于0；但是当m增大时，曲线不能够很好地拟合，训练误差会增大。
而验证误差，是相反的，这很好理解。
下面是在高偏差/高方差情况下的学习曲线。
图14.高偏差情况下的学习曲线
对于训练误差，是逐渐增大并不变保持较大，当训练集较小时还能够比较好地拟合，当训练集增大时，会逐渐增大，因为曲线基本上就固定了，所以误差持平；
对于验证误差，是逐渐减小并持平，一开始的验证误差最大，但是两者均保持较高。
对于一个学习算法如果高偏差，那么就算增加训练数据量也不能变好，更多的数据也没有意义。当你发现你的模型是高偏差的，那么应该感到幸运，因为可以确定当前学习算法无法再改进了。
图15.高方差情况下的学习曲线
对应于过拟合的情况，当数据量较小时基本能够很密集地拟合所有的点，当数据量增大时，拟合所有数据难度增加，训练误差增大；验证误差有下降趋势；
当学习算法有高方差时，获取更多的数据可能是有帮助的。实际情况中，学习曲线可能有更多的噪声。
7.决定接下来做什么
图16.改进措施的适用情况
之前的视频中给出了学习模型表现不好的几种方法，并且给出了对应的适用情况。
1.获取更多的训练数据——高方差
2.更小的特征集——高方差
3.获取更多的特征——高偏差
4.添加多项式特征——高偏差
5.降低lmad——高偏差
6.增加lmad——高方差
图17.如何选择神经网络
小的神经网络计算量少，参数少，可能出现欠拟合情况；大的神经网络参数更多，更可能出现过拟合情况，可以使用正则化项来很好的控制过拟合情况，计算量更大。
如何选择隐含层的层数呢？
可以像之前介绍的多个模型中如何选择d，可以将数据集分为训练、验证、测试集，分别训练出隐含层=1，2，3的情况，并且选择在验证集上表现最好的神经网络模型。