Transfer Learning
当只有一个小的数据集时,修改最后一层的特征到最后的分类输出之间的全连接层,只需要重新随机初始化这部分矩阵,冻结前面层的权重,相当于只训练一个线性分类器。
当有一个稍微大的数据集时,可以微调整个网络,一般将学习率调低来训练,因为最初的网络参数是在Imagenet上收敛的,泛化能力已经很强了,只需要微小的改变来适应自己的数据集。
训练策略:
1
Transfer Learning
当只有一个小的数据集时,修改最后一层的特征到最后的分类输出之间的全连接层,只需要重新随机初始化这部分矩阵,冻结前面层的权重,相当于只训练一个线性分类器。
当有一个稍微大的数据集时,可以微调整个网络,一般将学习率调低来训练,因为最初的网络参数是在Imagenet上收敛的,泛化能力已经很强了,只需要微小的改变来适应自己的数据集。
训练策略:
1