NN初始化
https://github.com/TingsongYu/PyTorch_Tutorial
PyTorch 学习笔记(四):权值初始化的十种方法
十种方法
--> 正交初始化?conjugate?L1 正则初始化选择?
kaiming:“方差一致性” --> 每一步都保证稀疏,类似 LP 进基出基?
第二章2.3 模型finetune:—— map、filter 函数的使用值得借鉴
id() 函数返回对象的唯一标识符,标识符是一个整数。
CPython 中 id() 函数用于获取对象的内存地址。
# 将fc3层的参数从原始网络参数中剔除
ignored_params = list(map(id, net.fc3.parameters()))
base_params = filter(lambda p: id(p) not in ignored_params, net.parameters())
# 为fc3层设置需要的学习率
optimizer = optim.SGD([
{'params': base_params},
{'params': net.fc3.parameters(), 'lr': lr_init*10}], lr_init, momentum=0.9, weight_decay=1e-4)
PyTorch的hook及其在Grad-CAM中的应用
目录 hook简介 PyTorch的四个hook 1. torch.Tensor.register_hook(hook) 2. torch.nn.Module.register_forward_hook 3.…
PyTorch 学习笔记(八):PyTorch的六个学习率调整方法
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击: 在模型训练的优化部分,调整最多的一个参数就是学习率,合理的学习率可以使优化器快速收敛。 一般在训练初期给予较大的学习率,随着训练的进行,学习率逐渐减小。学习率什么时候减小,减小多少,这就涉及到学习率调整方法。pytorch中提供了六种方法供大家使用,…
PyTorch 学习笔记(七):PyTorch的十个优化器
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击: PyTorch提供了十种优化器,在这里就看看都有哪些优化器。 1 torch.optim.SGD class torch.optim.SGD(params, lr=<object object>, momentum=0, dampening=…
PyTorch 学习笔记(六):PyTorch的十八个损失函数
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击: 版权声明:本文为博主原创文章,转载请附上博文链接! 我们所说的优化,即优化网络权值使得损失函数值变小。但是,损失函数值变小是否能代表模型的分类/回归精度变高呢?那么多种损失函数,应该如何选择呢?请来了解PyTorch中给出的十七种损失函数吧。 1.L1l…
PyTorch 学习笔记(五):Finetune和各层定制学习率
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial @[toc] 我们知道一个良好的权值初始化,可以使收敛速度加快,甚至可以获得更好的精度。而在实际应用中,我们通常采用一个已经训练模型的模型的权值参数作为我们模型…
PyTorch 学习笔记(四):权值初始化的十种方法
pytorch在torch.nn.init中提供了常用的初始化方法函数,这里简单介绍,方便查询使用。 介绍分两部分: 1. Xavier,kaiming系列; 2. 其他方法分布 Xavier初始化方法,论文在《Understanding the difficulty of training deep feedforward…
PyTorch 学习笔记(三):transforms的二十二个方法
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来,官方文档只是将方法陈列,没有归纳总结,顺序很乱,这里总结一共有四…
PyTorch 学习笔记(二):PyTorch的数据增强与数据标准化
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 在实际应用过程中,我们会在数据进入模型之前进行一些预处理,例如数据中心化(仅减均值),数据标准化(减均值,再除以标准差),随机裁剪,旋转一定角度,镜像等一系列操作。PyTorch有一系列数据增强方法供大…
PyTorch 学习笔记(一):让PyTorch读取你的数据集
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial 想让PyTorch能读取我们自己的数据,首先要了解pytroch读取图片的机制和流程,然后按流程编写代码。 Dataset类 PyTorch读取图片,主要是通过…