[转载]如何做微调

原文链接：https://zhuanlan.zhihu.com/p/35890660、https://blog.csdn.net/qq_42250789/article/details/108832004
我不太清楚哪个是原创。

可以做微调的4种情况：

数据集1 - 数据量少，但数据相似度非常高

• 在这种情况下，我们所做的只是修改最后几层或最终的softmax图层的输出类别。

数据集2 - 数据量少，数据相似度低

• 在这种情况下，我们可以冻结预训练模型的初始层（比如k层），并再次训练剩余的（n-k）层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。

数据集3 - 数据量大，数据相似度低

• 在这种情况下，由于我们有一个大的数据集，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络（Training from scatch）。

数据集4 - 数据量大，数据相似度高

• 这是理想情况。在这种情况下，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。

如何做微调？

1.通常的做法是截断预先训练好的网络的最后一层（softmax层），并用与我们自己的问题相关的新的softmax层替换它。
例如，ImageNet上预先训练好的网络带有1000个类别的softmax图层。
如果我们的任务是对10个类别的分类，则网络的新softmax层将由10个类别组成，而不是1000个类别。
然后，我们在网络上运行预先训练的权重。
确保执行交叉验证，以便网络能够很好地推广。

2.使用较小的学习率来训练网络。
由于我们预计预先训练的权重相对于随机初始化的权重已经相当不错，我们不想过快地扭曲它们太多。
通常的做法是使初始学习率比用于从头开始训练（Training from scratch）的初始学习率小10倍。

3. 如果数据集数量过少，我们进来只训练最后一层。
   如果数据集数量中等，冻结预训练网络的前几层的权重也是一种常见做法。
   这是因为前几个图层捕捉了与我们的新问题相关的通用特征，如曲线和边。我们希望保持这些权重不变。
   相反，我们会让网络专注于学习后续深层中特定于数据集的特征。