Torch笔记
- 初始化很重要 切记 !不同的初始化产生的结果完全不同
- relu函数可以解决sigmod函数梯度弥散的问题
- tanh函数在卷积用的比较多
- Leaky Relu 泄露的relu函数 使x<0时仍然具有梯度
- SELU函数时两个函数的concat(不常用)
- softplus同样是relu函数平滑的版本 在0处平滑(不常用)
如何防止Over fitting
-
使用更多的数据
-
控制模型复杂度
-
使用更浅的模型
-
正则化
- L1 L2正则 lambda参数
- 使用正则的前提是模型已经over fitting了
optimizer = optim.SGD(net.parameters(),lr = learning_rate,weight_decay = 0.01)
-
-
Dropout
torch.nn.Dropout(0.5) 将上一层数据减少一半传播
-
Data argumentation 数据增强
-
Early Stopping
优化器
-
momentum 动量 使用只需在优化器中添加momentum参数即可
Adam优化器不需要添加动量 因为他自带
-
learnning rate decay 动态LR ReduceLROnPlateau(optimzer,'min')
代码笔记
device = torch.device('cuda:0')
net = MLP().to(device) # 将网络切换到GPU上 原地更新
底层实现全连接
import torch
import troch.nn.Function as F
w1,b1 = torch.randn(200,784,requires_grad=True),torch.zeros(200,requires_grad=True)
w2,b2 = torch.randn(200,200,requires_grad=True),torch.zeros(200,requires_grad=True)
w3,b3 = torch.randn(200,784,requires_grad=True),torch.zeros(200,requires_grad=True)
def forward(x):
x = x@w1.t()+b1
x = F.relu(x)
x = x@w2.t()+b2
x = F.relu(x)
x = x@w3.t()+b3
x = F.relu(x)
return x