【sklearn】网格搜索 from sklearn.model_selection import GridSearchCV

      GridSearchCV用于系统地遍历模型的多种参数组合，通过交叉验证确定最佳参数。

1.GridSearchCV参数   

# 不常用的参数

• pre_dispatch

• 没看懂

• refit    
• 默认为True
• 在参数搜索参数后，用最佳参数的结果fit一遍全部数据集
• iid                 
• 默认为True
• 各个样本fold概率分布一致，误差估计为所有样本之和

# 常用的参数

• cv
• 默认为3
• 指定fold个数，即默认三折交叉验证
• verbose
• 默认为0
• 值为0时，不输出训练过程；值为1时，偶尔输出训练过程；值>1时，对每个子模型都输出训练过程
• n_jobs
• cpu个数
• 值为-1时，使用全部CPU；值为1时，使用1个CPU；值为2时，使用2个CPU
• estimator       
• 分类器
• param_grid    
• 参数范围，值为列表/字典
• scoring
准确度评价标准，socring参数选择链接

2.常用属性  

• best_score_
• 最佳模型下的分数
• best_params_
• 最佳模型参数
• grid_scores_
• 模型不同参数下交叉验证的平均分
• cv_results_   具体用法
• 模型不同参数下交叉验证的结果
• best_estimator_
• 最佳分类器

注：grid_scores_在sklearn0.20版本中将被删除。使用cv_results_替代

3.常用函数

• score(x_test,y_test)
• 最佳模型在测试集下的分数

4.例子

# -*- coding: utf-8 -*-
"""
# 数据：20类新闻文本
# 模型：svc
# 调参：gridsearch
"""
### 加载模块
import numpy as np
import pandas as pd

### 载入数据
from sklearn.datasets import fetch_20newsgroups                          # 20类新闻数据
news = fetch_20newsgroups(subset='all')                                  # 生成20类新闻数据

### 数据分割
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(news.data[:300],
                                                    news.target[:300],
                                                    test_size=0.25,      # 测试集占比25%
                                                    random_state=33)     # 随机数
### pipe-line
from sklearn.feature_extraction.text import TfidfVectorizer              # 特征提取
from sklearn.svm import SVC                                              # 载入模型
from sklearn.pipeline import Pipeline                                    # pipe_line模式
clf = Pipeline([('vect', TfidfVectorizer(stop_words='english', analyzer='word')),
                ('svc', SVC())])

### 网格搜索
from sklearn.model_selection import GridSearchCV
parameters = {'svc__gamma': np.logspace(-1, 1)}                           # 参数范围（字典类型）

gs = GridSearchCV(clf,          # 模型
                  parameters,   # 参数字典
                  n_jobs=1,     # 使用1个cpu
                  verbose=0,    # 不打印中间过程
                  cv=5)         # 5折交叉验证

gs.fit(X_train, y_train)        # 在训练集上进行网格搜索

### 最佳参数在测试集上模型分数
print("best:%f using %s" % (gs.best_score_,gs.best_params_))

### 测试集下的分数
print("test datasets score" % gs.score(X_test, y_test))

### 模型不同参数下的分数
# 方式一(0.20版本将删除)
print(gs.grid_scores_)

# 方式二(0.20推荐的方式)
means = gs.cv_results_['mean_test_score']
params =  gs.cv_results_['params']

for mean, param in zip(means,params):
    print("%f with: %r" % (mean,param))