《用Python玩转数据》项目—线性回归分析入门之波士顿房价预测（一）

sklearn的波士顿房价数据是经典的回归数据集。在MOOC的课程《用Python玩转数据》最终的实践课程中就用它来进行简单的数据分析，以及模型拟合。

文章将主要分为2部分：

1、使用sklearn的linear_model进行多元线性回归拟合；同时使用非线性回归模型来拟合（暂时还没想好用哪个？xgboost，还是SVM？）。

2、使用tensorflow建立回归模型拟合。

一、使用sklearn linear_regression 模型拟合boston房价datasets

from sklearn import datasets
from sklearn import linear_model
from sklearn.cross_validation import train_test_split
from sklearn import metrics
import os
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np


'''----------load 数据集-----------'''
dataset = datasets.load_boston()

# x 训练特征：['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS',
'RAD', 'TAX', 'PTRATIO', 'B', 'LSTAT']
x = dataset.data

target = dataset.target
#把label变为(?, 1)维度，为了使用下面的数据集合分割
y = np.reshape(target,(len(target), 1))

#讲数据集1:3比例分割为 测试集：训练集
x_train, x_verify, y_train, y_verify = train_test_split(x, y, random_state=1)

'''
x_train的shape：(379, 13)
y_train的shape：(379, 1)
x_verify的shape：(127, 13)
y_verify 的shape：(127, 1)
'''


'''----------定义线性回归模型，进行训练、预测-----------'''
lr = linear_model.LinearRegression()
lr.fit(x_train,y_train)
y_pred = lr.predict(x_verify)


'''----------图形化预测结果-----------'''
#只显示前50个预测结果，太多的话看起来不直观
plt.xlim([0,50])
plt.plot( range(len(y_verify)), y_verify, 'r', label='y_verify')
plt.plot( range(len(y_pred)), y_pred, 'g--', label='y_predict' )
plt.title('sklearn: Linear Regression')
plt.legend()
plt.savefig('lr/lr-13.png')
plt.show()


'''----------输出模型参数、评价模型-----------'''
print(lr.coef_)
print(lr.intercept_)
print("MSE:",metrics.mean_squared_error(y_verify,y_pred))
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_verify,y_pred)))

#输出模型对应R-Square
print(lr.score(x_train,y_train))
print(lr.score(x_verify,y_verify))

　　

　结果如下：

[[-1.13256952e-01 5.70869807e-02 3.87621062e-02 2.43279795e+00
-2.12706290e+01 2.86930027e+00 7.02105327e-03 -1.47118312e+00
3.05187368e-01 -1.06649888e-02 -9.97404179e-01 6.39833822e-03
-5.58425480e-01]]

-----------权重参数W

[45.23641585]

----------偏置bias

MSE: 21.88936943247483
RMSE: 4.678607638226872

----------MSE和RMSE都是表示衡量观测值同真值之间的偏差

0.7167286808673383

----------训练集的R-Square

0.7790257749137334

-----------测试集的R-Square

从图看，部分数据结果偏差不大，部分预测结果还有一定差距，从r-square来看拟合效果凑合。

R2 也叫确定系数(coefficient of determination)，表示模 型对现实数据拟合的程度，它是皮尔逊相关系数的平方，从数值上说，R2介于 0~1 之间，越 接近 1 表示拟合效果越好，0.7以上 这个数字说明测试集中有 7 成多的数据可通过模型解释， 拟合效果较好，但还有一定的空间，一般认为超过 0.8 的模型拟合优度比较高，可以尝试使用非线性模型进行预测。

初学者可以先关注调整 R2 和 T 检验的 p 值，后续可以继续理解利 用 F 检验检查方程的整体显著性以及进行残差分析等，有兴趣的学习者可进行深入研究。 

 ----（摘自MOOC《用Python玩转数据》）

特征选择：

sklearn中特征选择有很多种方法：

去除方差较小的特征：VarianceThreshold

单变量特征选择：SelectKBest、SelectPercentile、GenericUnivariateSelect

我们这里使用sklearn中SelectKBest函数进行特征选择，参数中的score_func选择：

分类：chi2----卡方检验

　　   f_classif----方差分析，计算方差分析（ANOVA）的F值 (组间均方 / 组内均方)

　　   mutual_info_classif----互信息，互信息方法可以捕捉任何一种统计依赖，但是作为非参数方法，需要更多的样本进行准确的估计

回归：f_regression----相关系数，计算每个变量与目标变量的相关系数，然后计算出F值和P值

　　    mutual_info_regression----互信息，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度

https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html

https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.f_regression.html

关于f_regression更具体解释，具体也可看文章：https://blog.csdn.net/jetFlow/article/details/78884619

我们的是回归问题，在这使用f_regression作为score_func进行筛选条件，在样本特征选选出 k 个的得分高的特征，默认 k = 10。波士顿房价问题中特征是13个，我们使用循环，看k值取多少合适。

MSE_list=[]
score_train=[]
score_verify=[]

for i in range(2,14):

       x_new = SelectKBest(f_regression, k=i).fit_transform(x, target)
       x_train, x_verify, y_train, y_verify = train_test_split(x_new, y, random_state=1)
       y_train = y_train.reshape(-1)
       train_data = np.insert(x_train, 0, values=y_train, axis=1)

       y_t = train_data[:, 0].reshape(-1,1)
       lr = linear_model.LinearRegression()
       lr.fit(x_train,y_train)
       y_pred = lr.predict(x_verify)

       score_train.append(lr.score(x_train, y_train))
       score_verify.append(lr.score(x_verify, y_verify))
       MSE_list.append(metrics.mean_squared_error(y_verify,y_pred))

print('MSE_list：',MSE_list)
print('train_score:',score_train)
print('verify_score:',score_verify)

plt.subplot(2,1,1)
plt.plot(range(2,14),MSE_list)
plt.title('MSE')
plt.subplot(2,1,2)
plt.plot(range(2,14),score_train,label='score_train')
plt.plot(range(2,14),score_verify,label='score_verify')
plt.legend()
plt.title('R2 score')
plt.savefig('feature_selection.png')
plt.show()

 结果输出如下：

MSE_list： [30.97014521755215, 27.65412935105601, 27.651260247704577, 27.28301263897541, 28.13859216347999, 28.409333535357277, 26.719218376293934, 26.486798709462853, 26.493273792132474, 25.117759564415888, 22.228430426663383, 21.897765396049444]

train_score: [0.6124282780222445, 0.6552443540161836, 0.6552474484272307, 0.6557456371776518, 0.6585732416001857, 0.6616656815463774, 0.6720552272075447, 0.6772752178717331, 0.6775049108616567, 0.6816762497813345, 0.7116255502702171, 0.7168057552393374]

verify_score: [0.6873549116447073, 0.7208302494671684, 0.7208592132019043, 0.7245766903192703, 0.7159395743433946, 0.7132064273226943, 0.7302682202049733, 0.7326145077913399, 0.7325491415239512, 0.7464350230475125, 0.775602938057746, 0.7789410172622863]

可见还是 k=13 时，训练集和测试集上R2得分都是最高的。（这里的R2得分与上面完整模型的分数略有偏差，我认为是因为sklearn的版本的差异导致，不过分数差别不大，不影响我们对模型的评估）

所以，综上就是使用sklearn的线性回归模型对波士顿房价预测的拟合情况。