from __future__ import print_function import torch ##1 基本操作 #构建tensor x = torch.empty(5, 3) x = torch.rand(5, 3) x = torch.zero(5, 3, dtype=torch.long) #Operation y = torch.rand(5, 3) torch.add(x, y) result = torch.empty(5, 3) torch.add(x, y, out=result) #x+y结果放到result里 y.add_(x) x.copy_(y) #Tensor变换 print(x[:, 1]) #打印第一列 x = torch.randn(4, 4) y = x.view(16) z = x.view(-1, 8) #-1意思是让torch自己推断第一维大小 ##torch几个维度查看和变换的函数 torch.size() b = a.view(-1, 3, 2) #前后尺寸要一致 torch.squeeze() / torch.unsqueeze() #torch.squeeze(n)函数表示压缩tensor中第n维为1的维数 >>> b.squeeze(2).size() torch.Size([1, 3, 2]) >>> b.squeeze(0).size() torch.Size([3, 2]) #torch.unsqueeze(n)则是在第n维增加一个维数=1 torch.permute() #按照自己期望的位置重新排序 permute(2, 0, 1) #注意数字是维度的index而不是数值 #numpy互转 #np和torch共享地址，修改一个会改变另一个 a = np.ones(5) b = torch.from_numpy(a) np.add(a, 1, out=a) print(a) # [2. 2. 2. 2. 2.] print(b) # tensor([ 2., 2., 2., 2., 2.], dtype=torch.float64) #CUDA tensor if torch.cuda.is_available(): device = torch.device("cuda") # 一个CUDA device对象。 y = torch.ones_like(x, device=device) # 直接在GPU上创建tensor x = x.to(device) # 也可以使用``.to("cuda")``把一个tensor从CPU移到GPU上 z = x + y print(z) print(z.to("cpu", torch.double)) # ``.to``也可以在移动的过程中修改dtype ##2 自动求导 # requires_grad是True，那么PyTorch就会追踪所有与之相关的operation。反向传播backward() # 在测试时，with torch.no_grad() 不计算梯度 # Function类，与tensor相互连接从而形成一个有向无环图，记录历史。每个tensor有一个grad_fn属性来引用创建这个tensor的Function x = torch.ones(2, 2, requires_grad=True) #梯度 out.backward() print(x.grad) #d(out)/dx print((x ** 2).requires_grad) with torch.no_grad(): #用来停止梯度计算 print((x ** 2).requires_grad) ##3 神经网络 #torch.nn来创建 #1）定义网络 import torch import torch.nn as nn # import torch.nn.function as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 输入是1个通道的灰度图，输出6个通道(feature map)，使用5x5的卷积核 self.conv1 = nn.Conv2d(1, 6, 5) # 第二个卷积层也是5x5，有16个通道 self.conv2 = nn.Conv2d(6, 16, 5) #全连接 self.fc1 = nn.Linear(16*5*5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = F.max_pool2d(F.relu(self.conv1(x)), (2,2)) x = F.max_pool2d(F.relu(self.conv2(x)), 2) x = view(-1, self.num_flat_features(x)) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x def num_flat_features(self, x): size = x.size()[1:] # 除了batch维度之外的其它维度。 num_features = 1 for s in size: num_features *= s return num_features net = Net() print(net) params = list(net.parameters()) #得到模型所有的参数 print(len(params)) print(params[0].size()) # conv1的weight #2）测试网络 input = torch.randn(1, 1, 32, 32) out = net(input) print(out) #清空梯度 net.zero_grad() out.backward(torch.randn(1, 10)) #注意：torch.nn只支持mini-batches的输入。整个torch.nn包的输入都必须第一维是batch，即使只有一个样本也要弄成batch是1的输入。 #nn.Conv2d的输入是一个4D的Tensor，shape是nSamples x nChannels x Height x Width。 #如果你只有一个样本(nChannels x Height x Width)，那么可以使用input.unsqueeze(0)来增加一个batch维。 #3）损失函数 output = net(input) criterion = nn.MSELoss() loss = criterion(output, target) #4）计算梯度 net.zero_grad() # 清掉tensor里缓存的梯度值。 loss.backward() #5）更新参数 import torch.optim as optim # 创建optimizer，需要传入参数和learning rate optimizer = optim.SGD(net.parameters(), lr=0.01) #清除梯度,optimizer.zero_grad()一次清除所有。 optimizer.zero_grad() output = net(input) loss = criterion(output, target) loss.backward() optimizer.step()