• 线性回归的简洁实现


    前言:

    简洁实现:使用深度学习开源框架达到目的

    一、生成数据集

    #线性回归的简洁实现就是使用pytorch内置的一些模块来实现
    import numpy as np
    import torch
    from torch.utils import data #从torch.utils中导入关于data处理的模块
    from d2l import torch as d2l
    true_w = torch.tensor([2, -3.4])#构造w
    true_b = 4.2#构造b
    features, labels = d2l.synthetic_data(true_w, true_b, 1000)#synthetic_data生成数据集函数
    

    在这里,我们通过true_w和true_b生成有1000个数据的数据集(也就是说,)

    二、读取数据集

    1、调用框架中现有的API来读取数据

    2、将 features 和 labels 作为API的参数传递,并在实例化数据迭代器对象时指定 batch_size

    # is_train=True:表示希望数据迭代器对象在每个迭代周期内打乱数据
    
    # data_arrays:表示可以传入多个矩阵,即是将features和labels作为参数,data_arrays相当于一个API
    def load_array(data_arrays, batch_size, is_train=True):  #@save
        """构造一个PyTorch数据迭代器。"""
        #TensorDateset:把输入的两类数据进行一一对应;
        #DataLoader:重新排序
        dataset = data.TensorDataset(*data_arrays)#*可以对list解开入参,因为features和labels作为API参数传递
        
        return data.DataLoader(dataset, batch_size, shuffle=is_train)#每次随机挑选batch_size个样本,shuffle意思是要不要打乱顺序
    
    # 读取10个样本
    
    batch_size = 10
    data_iter = load_array((features, labels), batch_size)
    # 不能直接从data_iter中获得数据
    
    next(iter(data_iter))#将data_iter用iter()函数转为迭代器,再使用next()函数从迭代器中获取数据
    
    #输出结果
    
    [tensor([[-0.5143, -1.0371],
             [ 0.0254, -0.1204],
             [ 0.1787,  0.2586],
             [-0.6284,  0.7571],
             [-0.3744,  0.5989],
             [ 0.1679, -1.5357],
             [-0.6135, -1.2744],
             [ 0.3798, -0.8941],
             [-1.6691, -0.6110],
             [ 0.0555, -0.3930]]),
     tensor([[6.7026],
             [4.6815],
             [3.6661],
             [0.3918],
             [1.4045],
             [9.7481],
             [7.2834],
             [7.9958],
             [2.9436],
             [5.6409]])]
    

      

    三、定义模型

    1、使用框架的预定义好的层,即我们只需关注使用哪些层来构造模型,而不必关注层的实现细节

    2、实现步骤:

    首先定义一个模型变量net,它是一个 Sequential 类的实例

    Sequential 类为串联在一起的多个层定义了一个容器。当给定输入数据, Sequential 实例将数据传入到第一层,然后将第一层的输出作为第二层的输入,依此类推

    3、Pytorch中,全连接层在Linear类中定义。Linear中,第一个变量为输入特征形状,第二个变量为输出特征形状

    # `nn` 是神经网络的缩写
    from torch import nn
    
    # Linear中,第一个指定输入特征数,第二个指定输出数
    net = nn.Sequential(nn.Linear(2, 1))#输入维度是2,输出维度是1;
    #nn.Linear(2,1)可以理解为线性回归就是简单的单层神经网络,将其放在一个Sequential中
    

      

    四、初始化模型参数

    1、在使用net前,需要初始化模型参数,如在此需要初始化权重与偏置

    2、 在这里,我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样,偏置参数将初始化为零

    # net[0]:表示使用网络中的第一个图层
    
    
    # 权重参数从均值为0,标准差为0.01的正态分布中随机采样
    print(net[0].weight.data)
    net[0].weight.data.normal_(0, 0.01)#normal_(0, 0.01)的意思是使用正态分布替换data的值,均值为0、标准差为0.01
    print(net[0].weight.data)
    
    #偏置参数初始化为0
    print(net[0].bias.data)
    net[0].bias.data.fill_(0)#bias偏差
    print(net[0].bias.data)
    
    #输出函数
    
    tensor([[ 0.0080, -0.0021]])
    tensor([[-0.0073,  0.0137]])
    tensor([0.])
    tensor([0.])
    

      

    五、定义损失函数

    1、计算均方误差使用的是MSELoss类,也称为平方L2范数

    2、默认情况下,他返回所有样本损失的平均值

    # 平方L2范数,返回所有样本损失的平均值
    loss = nn.MSELoss()
    

      

    六、定义优化算法——梯度下降优化算法

    # net.parameters()常用于做模块参数
    # SGD随机梯度下降求解
    
    
    trainer = torch.optim.SGD(net.parameters(), lr=0.03)#net.parameters()包括w和b
    

      

    七、训练

    1、在每个迭代周期里,我们将完整遍历一次数据集

    2、在每个迭代周期里,会不停地从中获取一个小批量的输入和相应的标签,对于每一个小批量,操作如下:

    • 通过调用 net(X) 生成预测并计算损失 l(正向传播)。
    • 通过进行反向传播来计算梯度。
    • 通过调用优化器来更新模型参数。
    num_epochs = 3#迭代三个周期
    for epoch in range(num_epochs):
        for X, y in data_iter:
            l = loss(net(X), y)#loss是损失函数
            
            trainer.zero_grad()#trainer优化器,先把梯度清零
            l.backward()#等价于l.sum().backward()——求和之后算梯度
            trainer.step()#调用优化算法进行模型更新
        
        l = loss(net(features), labels)
        print(f'epoch {epoch + 1}, loss {l:f}')
    
    
    #输出结果
    
    epoch 1, loss 0.000215
    epoch 2, loss 0.000107
    epoch 3, loss 0.000108
    

    3、比较生成数据集的真实参数和通过有限数据训练获得的模型参数

    w = net[0].weight.data
    
    print('w的估计误差:', true_w - w.reshape(true_w.shape))
    b = net[0].bias.data
    print('b的估计误差:', true_b - b)
    
    #输出结果
    
    w的估计误差: tensor([ 5.0187e-05, -1.9765e-04])
    b的估计误差: tensor([0.0008])
    

      

  • 相关阅读:
    ohmyzsh 更新失败(omz update error)
    连续变量的贝叶斯定理计算
    linux listen backlog
    linux fastcgi 与 phpfpm的区别
    linux netstat 命令详解
    linux dup与dup2
    DAY 233 python标准库
    DAY 231 Float问题
    DAY 232 python日期和时间
    DAY 234 python时间和日期
  • 原文地址:https://www.cnblogs.com/xiaoqing-ing/p/15063240.html
Copyright © 2020-2023  润新知