集成学习入门之soft voting classifier和hard voting classifier
集成学习
通过构建并结合多个学习器来完成学习任务，一般是先产生一组“个体学习器”，再用某种策略将它们结合起来，有很多种形式，像是投票，概率比较等等，像是投票就是少数服从多数
生活中经常遇到这种思路，比如看一下一个东西的好坏，可能会问多个人或者查找多个评价，如果多数觉得不错，那可能你也会认为不错，即便是没有使用过
又好像一个数据的预测结果不确定的时候，就可以使用很多个算法来一起跑一遍，然后选取数据相同的比较多的那个结果作为预测结果
在sklearn中有voting classifier这种投票方式的集成学习分类器
具体实现
（在notebook中）
加载好要用的类库，然后使用make_moons创建一个虚拟测试数据集，设置500个样本点，噪音（标准差）0.3，随机种子为42，然后绘制出数据情况
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
X,y = datasets.make_moons(n_samples=500,noise=0.3,random_state=42)
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
进行数据的分割
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)
首先使用逻辑回归的训练方式，在训练完以后进行分类准确度的求解
from sklearn.linear_model import LogisticRegression
log_clf = LogisticRegression()
log_clf.fit(X_train,y_train)
log_clf.score(X_test,y_test)
结果如下
使用SVM的训练方式，在训练完以后进行分类准确度的求解
from sklearn.svm import SVC
svm_clf = SVC()
svm_clf.fit(X_train,y_train)
svm_clf.score(X_test,y_test)
结果如下
使用决策树的训练方式，在训练完以后进行分类准确度的求解
from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier()
dt_clf.fit(X_train,y_train)
dt_clf.score(X_test,y_test)
结果如下
将三种算法预测出的结果都进行保存，三种结果相加以后得到一个向量，如果结果大于等于2，这就代表了至少有两个模型，至多有三个模型认为这个结果等于1，此时就认为结果为1，反之为0，再将其转换成整形向量，这就是少数服从多数的情况，然后看一下综合三个算法少数服从多数的结果的前十项是什么样的
y_predict1 = log_clf.predict(X_test)
y_predict2 = svm_clf.predict(X_test)
y_predict3 = dt_clf.predict(X_test)
y_predict = np.array((y_predict1 + y_predict2 + y_predict3)>=2,dtype='int')
y_predict[:10]
结果如下
然后计算一下这个综合的结果的准确度
from sklearn.metrics import accuracy_score
accuracy_score(y_test,y_predict)
结果如下（正常应该是比前三个高，这里是随机种子设置的不好，可以进行修改以实现真正要表达的情况）
在sklearn中可以直接使用VotingClassifier这个类来实现集成学习的操作，传入参数estimators，其就是一个估计器列表，过程和管道很像，将三个模型都传入其中并进行实例化，使voting等于hard，然后对训练数据集进行训练，并求解准确度
from sklearn.ensemble import VotingClassifier
voting_clf = VotingClassifier(estimators=[
('log_clf',LogisticRegression()),
('svm_clf',SVC()),
('dt_clf',DecisionTreeClassifier())],voting='hard')
voting_clf.fit(X_train,y_train)
voting_clf.score(X_test,y_test)
结果如下
结果和前面手动模拟的结果是一样的，使用算法的时候是可以直接调参将算法调节到最好的情况
上面使用的是hard voting classifier，那么有hard voting classifier就相应的还存在Soft Voting Classifier
Soft Voting Classifier
hard voting classifie就是少数服从多数的方式，在很多情况下少数服从多数并不是合理的，比如民主暴政（完全民主的结果就是多数人对于少数人的暴政）的情况，这种得出的结果很多时候是不合理的，那么更合理的投票方式应该带有权值属性，即对于不同的投票人，分值权重不一样，有的高一些，有的低一些，比如投票通过一个经济决定，普通民众，女权带师和经济学出身的专家如果投票的比重是一样的话，那很明显，这个结果可能不会是好的结果
因此对于数据的权重占比，在投票中设置好这个权值是很重要的，在soft voting classifier中，就将每个模型的相应的分类的概率作为权值，计算就需要将每个模型对应的类别的概率取平均值，然后对比不同的类别的结果，最后得出最终结果，也就是说在soft voting classifier中，不仅要看有多少票，还要看对应的类别由多少的概率确认分给这个类别
这就可以发现，在这种方法下，要求集合中的每一个模型都可以估计概率，不然没法算，只要函数predict_proba参数的算法就是可以计算概率的，像是逻辑回归算法，KNN算法，SVM算法和决策树算法都是可以计算概率的
具体使用实现
（在notebook中）
熟悉的布置环境和上面一模一样，绘制出来的图像如下
在对数据集进行分割以后（设置随机种子为10），在sklearn中可以直接使用VotingClassifier这个类来实现集成学习的操作，不过这里是hard voting classifier，代码和上面一模一样，可以得出结果，结果如下
对于soft voting classifier来说，和hard voting classifier是一样的，只不过将voting改为soft，然后将三个模型传入其中，实例化SVC的时候传入参数probability以实现概率计算，实例化DecisionTreeClassifier的时候传入随机种子666，然后训练分类器，之后计算准确度
voting_clf2 = VotingClassifier(estimators=[
('log_clf',LogisticRegression()),
('svm_clf',SVC(probability=True)),
('dt_clf',DecisionTreeClassifier(random_state=666))
],voting='soft')
voting_clf2.fit(X_train,y_train)
voting_clf2.score(X_test,y_test)
结果如下
可以发现这个准确度是比hard voting classifier的准确的要高的，这就是soft voting classifier的调用方式，使用起来很容易，而且很多时候效果是比hard voting classifier要好的
