[学习笔记][Python机器学习：预测分析核心算法][利用Python集成方法工具包构建随机森林模型]

参考：

1、《Python机器学习：预测分析核心算法》 Michael Bowles P251-P258

2、简书 Junes_K

3、sklearn官方文档

import numpy

#以前使用train_test_split构建训练和测试集， 但目前train_test_split已被cross_validation被废弃了
#from sklearn.cross_validation import train_test_split
#现在改为从 sklearn.model_selection 中调用train_test_split 函数可以解决此问题
#感谢“简书 Junes_K” https://www.jianshu.com/p/d746c9e10b2f
from sklearn.model_selection import train_test_split

#可以构建sklearn.ensemble.RandomForestRegressor对象
from sklearn import ensemble

#用mean_squared_error来计算预测均方误差
from sklearn.metrics import mean_squared_error

import pylab as plot

# 从本机读取数据
target_file = open('winequality-red.csv','r')
data = target_file.readlines()
target_file.close()

#整理原始数据，将原始数据分为属性列表（xList），标签列表（labels）
#将各个属性的名称存入names列表
xList = []
labels = []
names = []
firstLine = True
for line in data:
    if firstLine:
        names = line.strip().split(";")
        firstLine = False
    else:
        #split on semi-colon
        row = line.strip().split(";")
        #put labels in separate array
        labels.append(float(row[-1]))
        #remove label from row
        row.pop()
        #convert row to floats
        floatRow = [float(num) for num in row]
        xList.append(floatRow)

#计算属性列表的行数和列数
nrows = len(xList)
ncols = len(xList[0])

#将各列表转为numpy数组形式，此形式是RandomForestRegressor的要求
#并且这些对象可以使用sklearn的train_test_split构建训练和测试集
X = numpy.array(xList)
y = numpy.array(labels)
wineNames = numpy.array(names)

#构建test集为30%规模的训练集和测试集
#random_state设置为一个特殊整数，而不是让随机数生成器自己选择一个不可重复的内部值
#这样重复代码可以获得同样的结果，便于开发阶段的调整，否则随机性会掩盖所做的改变
#固定random_state就固定了测试集，会对测试数据集过度训练
xTrain, xTest, yTrain, yTest = train_test_split(X, y, test_size=0.30, random_state=531)

#train random forest at a range of ensemble sizes in order to see how the mse changes
mseOos = []
nTreeList = range(50, 500, 10)
for iTrees in nTreeList:
    depth = None
    maxFeat  = 4
    #https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestRegressor.html#sklearn.ensemble.RandomForestRegressor
    #初始化RandomForestRegressor对象
    #通过n_estimators = iTrees(属于nTreeList）来确定决策树的数目，这里是从50到500，每隔10的整数
    #max_depth = depth为None，决策树会持续增长，直到叶子节点为空或者所含数据小于min_sample_split
    #这里min_sample_split使用了缺省值（为2），当节点含有的数据小于其时，此节点不再分割
    #max_features = maxFeat，从而保证每次随机考虑四个属性，而不是要考虑全部属性，否则就是Bagging方法了
    #oob_score = False，不使用袋外样本估算看不见的数据的（有的不明白），缺省值为False
    wineRFModel = ensemble.RandomForestRegressor(n_estimators=iTrees, max_depth=depth, max_features=maxFeat,random_state=531)
    
    #调用fit()方法，训练数据集作为输入参数
    wineRFModel.fit(xTrain,yTrain)

    #调用predict()进行预测，输入时测试集的数据
    prediction = wineRFModel.predict(xTest)
    #将预测值与测试集中的标签比较，用mean_squared_error来计算预测均方误差
    mseOos.append(mean_squared_error(yTest, prediction))

#打印最后一个均方误差，这里并不代表最小值
#随机森林产生近乎独立的预测，然后取它们的平均值。因为为平均值，增加更多的决策树不会导致过度拟合。
print("MSE" )
print(mseOos[-1])

程序运行后得到：

MSE
0.318127065111759

#plot training and test errors vs number of trees in ensemble
plot.figure(figsize=(12,8))
plot.plot(nTreeList, mseOos)
plot.xlabel('Number of Trees in Ensemble')
plot.ylabel('Mean Squared Error')
plot.show()

#从下图也可以看出最后一个均方差并不是最小值，最小值是统计上的波动造成的，不是可以重复的最小值。
#同时曲线展示了随机森林算法的减少方差的特性
#原书上的：随着决策树数目增加，预测误差在下降，曲线波动也在减小（本例中不是太明显）

程序运行后得到：

# feature_importances是一个数组，数组长度等于属性的个数
#数组中的值为正的浮点数，表面对应属性对预测结果的重要性
featureImportance = wineRFModel.feature_importances_

#对属性重要性归一化，按照属性重要程度排序
featureImportance = featureImportance / featureImportance.max()

sorted_idx = numpy.argsort(featureImportance)
barPos = numpy.arange(sorted_idx.shape[0]) + .5
plot.figure(figsize=(12,6))
plot.barh(barPos, featureImportance[sorted_idx], align='center')
plot.yticks(barPos, wineNames[sorted_idx])
plot.xlabel('Variable Importance')
plot.subplots_adjust(left=0.2, right=0.9, top=0.9, bottom=0.1)
plot.show()

程序运行后得到：