4.批量处理数据

'''
torch-批量训练数据
DataLoader:是 torch 给你用来包装你的数据的工具. 
所以你要讲自己的 (numpy array 或其他) 数据形式装换成 Tensor, 然后再放进这个包装器中.
使用 DataLoader 有什么好处呢? 就是帮你有效地迭代数据, 举例:
'''
import torch
import torch.utils.data as Data
torch.manual_seed(1)    # reproducible

BATCH_SIZE = 5     # 批训练的数据个数
#设置假数据
x = torch.linspace(1, 10, 10)       # x data (torch tensor)
y = torch.linspace(10, 1, 10)       # y data (torch tensor)

# 先转换成 torch 能识别的 Dataset
torch_dataset = Data.TensorDataset(x,y)

# 把 dataset 放入 DataLoader
loader = Data.DataLoader(
    dataset=torch_dataset,      # torch TensorDataset format
    batch_size=BATCH_SIZE,      # mini batch size
    shuffle=True,               # 要不要打乱数据 (打乱比较好)
    num_workers=2,              # 多线程来读数据
)

for epoch in range(3):   # 训练所有!整套!数据 3 次
    for step, (batch_x, batch_y) in enumerate(loader):  # 每一步 loader 释放一小批数据用来学习
        # 假设这里就是你训练的地方...
        # 打出来一些数据
        print('Epoch: ', epoch, '| Step: ', step, '| batch x: ',
              batch_x.numpy(), '| batch y: ', batch_y.numpy())

'''

Epoch:  0 | Step:  0 | batch x:  [ 2.  7. 10.  1.  4.] | batch y:  [ 9.  4.  1. 10.  7.]
Epoch:  0 | Step:  1 | batch x:  [3. 5. 6. 8. 9.] | batch y:  [8. 6. 5. 3. 2.]
Epoch:  1 | Step:  0 | batch x:  [7. 8. 2. 3. 9.] | batch y:  [4. 3. 9. 8. 2.]
Epoch:  1 | Step:  1 | batch x:  [ 5.  1.  6.  4. 10.] | batch y:  [ 6. 10.  5.  7.  1.]
Epoch:  2 | Step:  0 | batch x:  [ 8.  1.  4.  9. 10.] | batch y:  [ 3. 10.  7.  2.  1.]
Epoch:  2 | Step:  1 | batch x:  [7. 6. 5. 2. 3.] | batch y:  [4. 5. 6. 9. 8.]
'''