邱锡鹏nndl-chap2_1-线性回归

1.问题描述

有一个函数$f:R ightarrow R$ ，现在不知道函数 $f(x)$的具体形式，给定满足函数关系的一组训练样本$left { (x_{1},y_{1}),...,(x_{N},y_{N}) ight }$，N=300，请使用线性回归模型拟合出函数$y=f(x)$。(可尝试一种或几种不同的基函数，如多项式、高斯或sigmoid基函数）

2.数据集

根据某种关系生成的train和test数据。

3.代码实现

3.1载入数据

def load_data(filename):           
    """载入数据"""
    xys = []
    with open(filename, 'r') as f:
        for line in f:
            xys.append(map(float, line.strip().split()))
        xs, ys = zip(*xys)
        return np.asarray(xs), np.asarray(ys)                   #nsarray将结构数据转换为ndarray类型

3.2不同基函数的实现

对于函数空间中的连续函数都可以表示成一系列基函数的线性组合，就像是在向量空间中每个向量都可以表示成基向量的线性组合一样。

举例：多项式基：{1，t, t²}是实系数二次多项式集合的基，每一个形如a+bt+ct²的二次多项式都可以写成由基函数1、t、t²组成的线性组合。

def identity_basis(x):
    ret = np.expand_dims(x, axis=1)                             #shape(N, 1)
    return ret


def multinomial_basis(x, feature_num=10):
    '''多项式基函数'''
    x = np.expand_dims(x, axis=1)                
    
    ### START CODE HERE ###
    feat = [x]
    for i in range(2, feature_num+1):
        feat.append(x**i)
    ret = np.concatenate(feat, axis=1) 
    ### END CODE HERE ###
    
    return ret


def gaussian_basis(x, feature_num=10):
    '''高斯基函数'''
    ### START CODE HERE ###
    centers = np.linspace(0, 25, feature_num)
    width = 1.0 * (centers[1] - centers[0])
    x = np.expand_dims(x, axis=1)
    x = np.concatenate([x]*feature_num, axis=1)
    
    out = (x-centers)/width
    ret = np.exp(-0.5 * out ** 2)
    ### END CODE HERE ###

    return ret

3.3训练模型

phi是增广矩阵向量的转置，不同的基函数会形成不同的phi，以identity_basic为例，$phi=egin{bmatrix}1. & X^{(1)}\1. & X^{(2)}\... & \ 1. & X^{(300)}end{bmatrix}$

解法1：最小二乘法求解线性回归参数：$w=(XX^{T})^{-1}Xy$       $(XX^{T})^{-1}X$也称为X^T的伪逆矩阵

$y=phi*w$

def main(x_train, y_train):
    """
    训练模型，并返回从x到y的映射。
    """
    basis_func = identity_basic
    phi0 = np.expand_dims(np.ones_like(x_train), axis=1)      #phi0.shape=(300,1)
    phi1 = basis_func(x_train)                                #phi1.shape=(300,1)

    phi = np.concatenate([phi0, phi1], axis=1)                #phi.shape=(300,2) phi是增广特征向量的转置
    
    ### START CODE HERE ###
    #最小二乘法计算w
    w = np.dot(np.linalg.pinv(phi), y_train)                  #np.linalg.pinv(phi)求phi的伪逆矩阵(phi不是列满秩) w.shape=[2,1]
    ### END CODE HERE ###
    
    def f(x):
        phi0 = np.expand_dims(np.ones_like(x), axis=1)
        phi1 = basis_func(x)
        phi = np.concatenate([phi0, phi1], axis=1)
        y = np.dot(phi, w)
        return y

    return f

解法2：梯度下降求解线性回归参数：$wleftarrow w+alpha X(y-X^{T}w)$

详细推导见https://www.cnblogs.com/cxq1126/p/13051607.html

def main(x_train, y_train):
    """
    训练模型，并返回从x到y的映射。
    """
    basis_func = identity_basic
    phi0 = np.expand_dims(np.ones_like(x_train), axis=1)      #phi0.shape=(300,1)
    phi1 = basis_func(x_train)                                #phi1.shape=(300,1)

    phi = np.concatenate([phi0, phi1], axis=1)                #phi.shape=(300,2)phi是增广特征向量的转置

    ### START CODE HERE ###
    #梯度下降法
    def dJ(theta, phi, y):
        return phi.T.dot(phi.dot(theta)-y)*2.0/len(phi)

    def gradient(phi, y, initial_theta, eta=0.001, n_iters=10000):
        w = initial_theta

        for i in range(n_iters):
            gradient = dJ(w, phi, y)                #计算梯度
            w = w - eta *gradient                   #更新w

        return w

    initial_theta = np.zeros(phi.shape[1])
    w = gradient(phi, y_train, initial_theta)
    ### END CODE HERE ###

    def f(x):
        phi0 = np.expand_dims(np.ones_like(x), axis=1)
        phi1 = basis_func(x)
        phi = np.concatenate([phi0, phi1], axis=1)
        y = np.dot(phi, w)
        return y

    return f

3.4评估模型

def evaluate(ys, ys_pred):
    """评估模型"""
    std = np.sqrt(np.mean(np.abs(ys - ys_pred) ** 2))
    return std

完整代码如下（使用identity_basis基函数和最小二乘法为例）：

import numpy as np
import matplotlib.pyplot as plt

def load_data(filename):           
    """载入数据"""
    xys = []
    with open(filename, 'r') as f:
        for line in f:
            xys.append(map(float, line.strip().split()))
        xs, ys = zip(*xys)
        return np.asarray(xs), np.asarray(ys)                   #nsarray将结构数据转换为ndarray类型


#不同的基函数的实现
def identity_basis(x):
    ret = np.expand_dims(x, axis=1)                             #shape(N, 1)
    return ret


def multinomial_basis(x, feature_num=10):
    '''多项式基函数'''
    x = np.expand_dims(x, axis=1)                
    
    ### START CODE HERE ###
    feat = [x]
    for i in range(2, feature_num+1):
        feat.append(x**i)
    ret = np.concatenate(feat, axis=1) 
    ### END CODE HERE ###
    
    return ret


def gaussian_basis(x, feature_num=10):
    '''高斯基函数'''
    ### START CODE HERE ###
    centers = np.linspace(0, 25, feature_num)
    width = 1.0 * (centers[1] - centers[0])
    x = np.expand_dims(x, axis=1)
    x = np.concatenate([x]*feature_num, axis=1)
    
    out = (x-centers)/width
    ret = np.exp(-0.5 * out ** 2)
    ### END CODE HERE ###

    return ret


def main(x_train, y_train):
    """
    训练模型，并返回从x到y的映射。
    """
    basis_func = identity_basis
    phi0 = np.expand_dims(np.ones_like(x_train), axis=1)      #phi0.shape=(300,1)
    phi1 = basis_func(x_train)                                #phi1.shape=(300,1)
    
    phi = np.concatenate([phi0, phi1], axis=1)                #phi.shape=(300,2)phi是增广特征向量的转置
    
    ### START CODE HERE ###
    '''使用最小二乘法计算w'''
    w = np.dot(np.linalg.pinv(phi), y_train)                  #np.linalg.pinv(phi)求phi的伪逆矩阵(phi不是列满秩)
    ### END CODE HERE ###
    
    def f(x):
        phi0 = np.expand_dims(np.ones_like(x), axis=1)
        phi1 = basis_func(x)
        phi = np.concatenate([phi0, phi1], axis=1)
        y = np.dot(phi, w)
        return y

    return f


def evaluate(ys, ys_pred):
    """评估模型"""
    std = np.sqrt(np.mean(np.abs(ys - ys_pred) ** 2))
    return std


# 程序主入口（建议不要改动以下函数的接口）
if __name__ == '__main__':
    train_file = 'data/train.txt'
    test_file = 'data/test.txt'
    # 载入数据
    x_train, y_train = load_data(train_file)
    x_test, y_test = load_data(test_file)
   
    print(x_train.shape)                     #(300,)
    print(x_test.shape)                      #(200,)

    # 使用线性回归训练模型，返回一个函数f()使得y = f(x)
    f = main(x_train, y_train)

    y_train_pred = f(x_train)
    std = evaluate(y_train, y_train_pred)
    print('训练集预测值与真实值的标准差：{:.1f}'.format(std))
    
    # 计算预测的输出值
    y_test_pred = f(x_test)
    
    # 使用测试集评估模型
    std = evaluate(y_test, y_test_pred)
    print('预测值与真实值的标准差：{:.1f}'.format(std))

    #显示结果
    plt.plot(x_train, y_train, 'ro', markersize=3)
    # plt.plot(x_test, y_test, 'k')
    plt.plot(x_test, y_test_pred, 'k')
    plt.xlabel('x')
    plt.ylabel('y')
    plt.title('Linear Regression')
    plt.legend(['train', 'test', 'pred'])
    plt.show()

4.运行结果

以下三张图是分别调用identity_basis、multinomial_basis、gaussian_basis三种不同基函数（最小二乘法计算的w）运行而来。

训练集预测值与真实值的标准差：2.0                                         训练集预测值与真实值的标准差：1.5 
预测值与真实值的标准差：2.2                                                    预测值与真实值的标准差：1.6     

训练集预测值与真实值的标准差：0.4

预测值与真实值的标准差：0.4 

以下二张图是分别调用identity_basis、gaussian_basis二种不同基函数（梯度下降法计算的w）运行而来。

训练集预测值与真实值的标准差：2.0                                                   训练集预测值与真实值的标准差：1.9
预测值与真实值的标准差：2.2                                                              预测值与真实值的标准差：2.1