PyTorch快速入门
Tensors
Tensors贯穿PyTorch始终
和多维数组很相似,一个特点是可以硬件加速
Tensors的初始化
有很多方式
-
直接给值
data = [[1,2],[3,4]] x_data = torch.tensor(data)
-
从NumPy数组转来
np_arr = np.array(data) x_np = torch.from_numpy(np_array)
-
从另一个Tensor
x_ones = torch.ones_like(x_data)
-
赋01或随机值
shape = (2,3,) rand_tensor = torch.rand(shape) ones_tensor = torch.ones(shape) zeros_tensor = torch.zeros(shape)
Tensors的属性
tensor = torch.rand(3,4)
print(f"Shape of tensor: {tensor.shape}")
print(f"Datatype of tensor: {tensor.dtype}")
print(f"Device tensor is stored on: {tensor.device}")
shape维度,dtype元素类型,device运行设备(cpu/gpu)
Tensors的操作
使用GPU的方法
if torch.cuda_is_available():
tensor = tensor.to("cuda")
各种操作
-
索引和切片
tensor = torch.ones(4,4) print(tensor[0]) #第一行(0开始) print(tensor[;,0]) #第一列(0开始) print(tensor[...,-1]) #最后一列
-
连接
t1 = torch.cat([tensor,tensor],dim=1) #沿着第一维的方向拼接
-
矩阵乘法
三种办法,类似于运算符重载、成员函数和非成员函数
y1 = tensor @ tensor y2 = tensor.matmul(tensor.T) y3 = torch.rand_like(tensor) torch.matmul(tensor,tensor.T,out=y3)
-
点乘
类似,也是三种办法
z1 = tensor * tensor z2 = tensor.mul(tensor) z3 = torch.rand_like(tensor) torch.mul(tensor,tensor,out=z3)
-
单元素tensor求值
agg = tensor.sum() agg_item = agg.item() print(agg_item,type(agg_item))
-
In-place 操作
就是会改变成员内容的成员函数,以下划线结尾
tensor.add_(5) #每个元素都+5
节约内存,但是会丢失计算前的值,不推荐使用。
和NumPy的联系
-
Tensor转NumPy数组
t = torch.ones(5) n = t.numpy()
注意,这个写法类似引用,没有新建内存,二者修改同步
-
NumPy数组转tensor
n = np.ones(5) t = torch.from_numpy(n)
同样是引用,一个的修改会对另一个有影响
数据集和数据加载器
处理数据的代码通常很杂乱,难以维护,我们希望这部分代码和主代码分离。
加载数据集
以FasnionMNIST为例,我们需要四个参数
-
root是路径
-
Train区分训练集还是测试集
-
download表示如果root找不到,就从网上下载
-
transform表明数据的转换方式
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt
training_data = datasets.FansionMNIST(
root = "data",
train = True,
download = True,
transform = ToTensor()
)
test_data = datasets.FansionMNIST(
root = "data",
train = False,
download = True,
transform = ToTensor()
)
标号和可视化
labels_map = {
0: "T-Shirt",
1: "Trouser",
2: "Pullover",
3: "Dress",
4: "Coat",
5: "Sandal",
6: "Shirt",
7: "Sneaker",
8: "Bag",
9: "Ankle Boot",
}
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in range(1, cols * rows + 1):
sample_idx = torch.randint(len(training_data), size=(1,)).item()
img, label = training_data[sample_idx]
figure.add_subplot(rows, cols, i)
plt.title(labels_map[label])
plt.axis("off")
plt.imshow(img.squeeze(), cmap="gray")
plt.show()
自己创建数据集类
必须实现三个函数__init__
,__len__
,__getitem__
import os
import pandas as pd
from torchvision.io import read_image
class CustomImageDataset(Dataset):
def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
self.img_labels = pd.read_csv(annotations_file)
self.img_dir = img_dir
self.transform = transform
self.target_transform = target_transform
def __len__(self):
return len(self.img_labels)
def __getitem__(self, idx):
img_path = os.path.join(self.img_dir, self.img_labels.iloc[idx, 0])
image = read_image(img_path)
label = self.img_labels.iloc[idx, 1]
if self.transform:
image = self.transform(image)
if self.target_transform:
label = self.target_transform(label)
return image, label
__init__
类似于构造函数
__len__
求数据个数
__getitem__
按下标找数据和标签,类似重载[]
用DataLoaders准备数据用于训练
DataLoaders主要做3件事,将数据划分为小batches,随机打乱数据,和多核处理。
from torch.utils.data import DataLoader
train_dataloader = DataLoader(training_data,batch_size = 64,shuffle=True)
test_dataloader = DataLoader(test_data,batch_size = 64,shuffle=True)
用DataLoader进行迭代训练
# 展示图像和标签
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")
Transforms
让数据变形成需要的形式
transform
指定feature的变形
target_transform
指定标签的变形
比如,需要数据从PIL Image变成Tensors,标签从整数变成one-hot encoded tensors
import torch
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda
ds = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)
这里用了两个技术,ToTensor()
和Lambda
表达式
ToTensor()
将PIL images或者NumPy数组转化成FloatTensor,每个像素的灰度转化到[0,1]范围内
Lambda
类似C++里的Lambda表达式,我们需要将整数转化为 one-hot encoded tensor,就先创建一个长度为数据标签类型的全0的Tensor,然后用scatter_()把第y个值改为1。注意到,scatter的index接受的参数也是Tensor,可见Tensor的广泛使用。