rf调参小结

rf调参小结
转自http://www.cnblogs.com/pinard/p/6160412.html

1. scikit-learn随机森林类库概述

　　　　在scikit-learn中，RF的分类类是RandomForestClassifier，回归类是RandomForestRegressor。当然RF的变种Extra Trees也有，分类类ExtraTreesClassifier，回归类ExtraTreesRegressor。由于RF和Extra Trees的区别较小，调参方法基本相同，本文只关注于RF的调参。

　　　　和GBDT的调参类似，RF需要调参的参数也包括两部分，第一部分是Bagging框架的参数，第二部分是CART决策树的参数。下面我们就对这些参数做一个介绍。

2. RF框架参数

　　　　首先我们关注于RF的Bagging框架的参数。这里可以和GBDT对比来学习。在scikit-learn 梯度提升树(GBDT)调参小结中我们对GBDT的框架参数做了介绍。GBDT的框架参数比较多，重要的有最大迭代器个数，步长和子采样比例，调参起来比较费力。但是RF则比较简单，这是因为bagging框架里的各个弱学习器之间是没有依赖关系的，这减小的调参的难度。换句话说，达到同样的调参效果，RF调参时间要比GBDT少一些。

　　　　下面我来看看RF重要的Bagging框架的参数，由于RandomForestClassifier和RandomForestRegressor参数绝大部分相同，这里会将它们一起讲，不同点会指出。

　　　　1) n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是100。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learning_rate一起考虑。

　　　　2) oob_score :即是否采用袋外样本来评估模型的好坏。默认识False。个人推荐设置为True，因为袋外分数反应了一个模型拟合后的泛化能力。

　　　　3) criterion: 即CART树做划分时对特征的评价标准。分类模型和回归模型的损失函数是不一样的。分类RF对应的CART分类树默认是基尼系数gini,另一个可选择的标准是信息增益。回归RF对应的CART回归树默认是均方差mse，另一个可以选择的标准是绝对值差mae。一般来说选择默认的标准就已经很好的。

　　　　从上面可以看出， RF重要的框架参数比较少，主要需要关注的是 n_estimators，即RF最大的决策树个数。

3. RF决策树参数

　　　　下面我们再来看RF的决策树参数，它要调参的参数基本和GBDT相同，如下:

　　　　1) RF划分时考虑的最大特征数max_features: 可以使用很多种类型的值，默认是"None",意味着划分时考虑所有的特征数；如果是"log2"意味着划分时最多考虑

　　　　2) 决策树最大深度max_depth: 默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。

　　　　3) 内部节点再划分所需最小样本数min_samples_split: 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

　　　　4) 叶子节点最少样本数min_samples_leaf: 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。默认是1,可以输入最少的样本数的整数，或者最少样本数占样本总数的百分比。如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

　　　　5）叶子节点最小的样本权重和min_weight_fraction_leaf：这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝。默认是0，就是不考虑权重问题。一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值了。

　　　　6) 最大叶子节点数max_leaf_nodes: 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑这个值，但是如果特征分成多的话，可以加以限制，具体的值可以通过交叉验证得到。

　　　　7) 节点划分最小不纯度min_impurity_split: 这个值限制了决策树的增长，如果某节点的不纯度(基于基尼系数，均方差)小于这个阈值，则该节点不再生成子节点。即为叶子节点。一般不推荐改动默认值1e-7。

　　　　上面决策树参数中最重要的包括最大特征数max_features，最大深度max_depth，内部节点再划分所需最小样本数min_samples_split和叶子节点最少样本数min_samples_leaf。

4.RF调参实例

　　　　这里仍然使用GBDT调参时同样的数据集来做RF调参的实例，数据的下载地址在这。本例我们采用袋外分数来评估我们模型的好坏。
```
  1 import pandas as pd
  2 import numpy as np
  3 from sklearn.ensemble import RandomForestClassifier
  4 from sklearn.grid_search import GridSearchCV
  5 from sklearn import cross_validation, metrics
  6 import matplotlib.pylab as plt
  7 
  8 #我们把解压的数据用下面的代码载入，顺便看看数据的类别分布。
  9 train = pd.read_csv('train_modified.csv')
 10 target='Disbursed' # Disbursed的值就是二元分类的输出
 11 IDcol = 'ID'
 12 print(train['Disbursed'].value_counts() )
 13 
 14 #选择好样本特征和类别输出
 15 x_columns = [x for x in train.columns if x not in [target, IDcol]]
 16 X = train[x_columns]
 17 y = train['Disbursed']
 18 '''
 19 1.不管任何参数，都用默认的，我们拟合下数据看看：
 20 '''
 21 '''
 22 rf0 = RandomForestClassifier(oob_score=True, random_state=10)
 23 rf0.fit(X,y)
 24 print (rf0.oob_score_)
 25 y_predprob = rf0.predict_proba(X)[:,1]
 26 print( "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob))
 27 '''
 28 '''
 29 输出如下，可见袋外分数已经很高，而且AUC分数也很高。
 30 相对于GBDT的默认参数输出，RF的默认参数拟合效果对本例要好一些。
 31 0.98005
 32 AUC Score (Train): 0.999833
 33 '''
 34 '''
 35 2.我们首先对n_estimators进行网格搜索：
 36 '''
 37 '''
 38 param_test1 = {'n_estimators':[10,20,30,40,50,60,70]}
 39 gsearch1 = GridSearchCV(estimator = RandomForestClassifier(min_samples_split=100,
 40                                   min_samples_leaf=20,max_depth=8,max_features='sqrt' ,random_state=10), 
 41                        param_grid = param_test1, scoring='roc_auc',cv=5)
 42 gsearch1.fit(X,y)
 43 print(gsearch1.grid_scores_, gsearch1.best_params_, gsearch1.best_score_)
 44 '''
 45 '''
 46 这样我们得到了最佳的弱学习器迭代次数60，
 47 3.接着我们对决策树最大深度max_depth和内部节点再划分所需最小样本数min_samples_split进行网格搜索。
 48 '''
 49 '''
 50 param_test2 = {'max_depth':[3,5,7,9,11,13], 'min_samples_split':[50,70,90,110,130,150,170,190]}
 51 gsearch2 = GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60, 
 52                                   min_samples_leaf=20,max_features='sqrt' ,oob_score=True, random_state=10),
 53    param_grid = param_test2, scoring='roc_auc',iid=False, cv=5)
 54 gsearch2.fit(X,y)
 55 print(gsearch2.grid_scores_, gsearch2.best_params_, gsearch2.best_score_)
 56 '''
 57 '''
 58 得到最佳 max_depth = 13
 59 我们看看我们现在模型的袋外分数：
 60 '''
 61 '''
 62 rf1 = RandomForestClassifier(n_estimators= 60, max_depth=13, min_samples_split=110,
 63                                   min_samples_leaf=20,max_features='sqrt' ,oob_score=True, random_state=10)
 64 rf1.fit(X,y)
 65 print( rf1.oob_score_)
 66 y_predprob = rf1.predict_proba(X)[:,1]
 67 print( "AUC Score (Train): %f" % metrics.roc_auc_score(y, y_predprob))
 68 '''
 69 '''
 70 输出结果为0.984
 71 相对于默认情况,袋外分数有提高，也就是说模型的泛化能力变好了
 72 对于内部节点再划分所需最小样本数min_samples_split，我们暂时不能一起定下来，因为这个还和决策树其他的参数存在关联。
 73 4.下面我们再对内部节点再划分所需最小样本数min_samples_split和叶子节点最少样本数min_samples_leaf一起调参。
 74 '''
 75 '''
 76 param_test3 = {'min_samples_split':[80,100,120,140], 'min_samples_leaf':[10,20,30,40,50]}
 77 gsearch3 = GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60, max_depth=13,
 78                                   max_features='sqrt' ,oob_score=True, random_state=10),
 79    param_grid = param_test3, scoring='roc_auc',iid=False, cv=5)
 80 gsearch3.fit(X,y)
 81 print(gsearch3.grid_scores_, gsearch3.best_params_, gsearch3.best_score_)
 82 '''
 83 '''
 84 得到最佳'min_samples_leaf': 20, 'min_samples_split': 120
 85 5.最后我们再对最大特征数max_features做调参:
 86 '''
 87 '''
 88 param_test4 = {'max_features':[3,5,7,9,11]}
 89 gsearch4 = GridSearchCV(estimator = RandomForestClassifier(n_estimators= 60, max_depth=13, min_samples_split=120,
 90                                   min_samples_leaf=20 ,oob_score=True, random_state=10),
 91    param_grid = param_test4, scoring='roc_auc',iid=False, cv=5)
 92 gsearch4.fit(X,y)
 93 print(gsearch4.grid_scores_, gsearch4.best_params_, gsearch4.best_score_)
 94 '''
 95 '''
 96 得到'max_features': 7
 97 6.用我们搜索到的最佳参数，我们再看看最终的模型拟合：
 98 '''
 99 rf2 = RandomForestClassifier(n_estimators= 60, max_depth=13, min_samples_split=120,
100                                   min_samples_leaf=20,max_features=7 ,oob_score=True, random_state=10)
101 rf2.fit(X,y)
102 print (rf2.oob_score_)
103 '''
104 此时的输出为：0.984
105 可见此时模型的袋外分数基本没有提高，主要原因是0.984已经是一个很高的袋外分数了，
106 如果想进一步需要提高模型的泛化能力，我们需要更多的数据。
107 '''
```
相关阅读:
今天还做了点有意义的事
 读“记当年的公开课”
无语
 小议如何控制学生机结束学生端多媒体控制平台程序
 今天去了中山
 Windows服务创建及安装
 SQL Server数据库表锁定原理以及如何解除表的锁定示例演示
 本地SQL脚本操作外部服务器结果集
 list.FindAll
一个高效的数据分页的存储过程可以轻松应付百万数据
原文地址：https://www.cnblogs.com/fisherinbox/p/6627231.html

1. scikit-learn随机森林类库概述

2. RF框架参数

3. RF决策树参数

4.RF调参实例