metrics是sklearn用来做模型评估的重要模块，提供了各种评估度量，现在自己整理如下：
一.通用的用法：Common cases: predefined values
1.1 sklearn官网上给出的指标如下图所示：
1.2除了上图中的度量指标以外，你还可以自定义一些度量指标：通过sklearn.metrics.make_scorer()方法进行定义；
make_scorer有两种典型的用法：
用法一：包装一些在metrics中已经存在的的方法，但是这种方法需要一些参数，例如fbeta_score方法，官网上给出的用法如下：
from sklearn.metrics import fbeta_score, make_scorer ftwo_scorer = make_scorer(fbeta_score, beta=2) from sklearn.model_selection import GridSearchCV from sklearn.svm import LinearSVC grid = GridSearchCV(LinearSVC(), param_grid={'C': [1, 10]}, scoring=ftwo_scorer)
第二种用法是完全的定义用户自定义的函数，可以接受一下几种参数：
1.你想用的python函数；
2、不论你提供的python函数返回的是socre或者是loss，if score：the higher the better；if loss： the lower the better
3、只为分类度量：无论你提供的python方法是不是需要连续的决策因素，默认为否
4.其他额外的参数，例如f1_score中的beta或者labels
例如官网上给出的例子：
import numpy as np def my_custom_loss_func(ground_truth, predictions): diff = np.abs(ground_truth - predictions).max() return np.log(1 + diff) # loss_func will negate the return value of my_custom_loss_func, # which will be np.log(2), 0.693, given the values for ground_truth # and predictions defined below. loss = make_scorer(my_custom_loss_func, greater_is_better=False) score = make_scorer(my_custom_loss_func, greater_is_better=True) ground_truth = [[1], [1]] predictions = [0, 1] from sklearn.dummy import DummyClassifier clf = DummyClassifier(strategy='most_frequent', random_state=0) clf = clf.fit(ground_truth, predictions) loss(clf,ground_truth, predictions) -0.69... score(clf,ground_truth, predictions) 0.69...
1.3 使用多重度量标准
sklearn也接受在GridSearchCV，RandomizedSearchCV和Cross_validate中接受多指标，有两种指定方式；
##方式1： 使用字符串的list scoring=['accuracy','precision'] ### f方式2：使用dict进行mapping from sklearn.metrics import accuracy_score from sklearn.metrics import make_scorer scoring = {'accuracy': make_scorer(accuracy_score), 'prec': 'precision'}
注意：目前方式2（dict）模式只允许返回单一score的score方法，返回多个的需要进行加工处理，例如官方上给出的加工处理混淆矩阵的方法：
from sklearn.model_selection import cross_validate from sklearn.metrics import confusion_matrix # A sample toy binary classification dataset X, y = datasets.make_classification(n_classes=2, random_state=0) svm = LinearSVC(random_state=0) def tp(y_true, y_pred): return confusion_matrix(y_true, y_pred)[0, 0] def tn(y_true, y_pred): return confusion_matrix(y_true, y_pred)[0, 0] def fp(y_true, y_pred): return confusion_matrix(y_true, y_pred)[1, 0] def fn(y_true, y_pred): return confusion_matrix(y_true, y_pred)[0, 1] scoring = {'tp' : make_scorer(tp), 'tn' : make_scorer(tn), 'fp' : make_scorer(fp), 'fn' : make_scorer(fn)} cv_results = cross_validate(svm.fit(X, y), X, y, scoring=scoring) # Getting the test set true positive scores print(cv_results['test_tp']) [12 13 15] # Getting the test set false negative scores print(cv_results['test_fn']) [5,4,1]
二：分类指标；
针对分类，sklearn也提供了大量的度量指标，而且针对不同的分类（二分类，多分类，）有不同的度量指标，官网截图如下：
2.1 从二分类到多分类问题：
像f1_score, roc_auc_score这种度量指标大多是针对二分类问题的，但是为了将二分类的度量指标延伸到多分类问题，数据将会看做是二分类问题的集合，也就是1vs all；有好几种方式来平衡不同类别的二分度量，通过使用average参数来进行设置。
（1）marco（宏平均）：当频繁的类别非常重要时，宏平均可以会突出他的性能表现；当然所有的类别同样重要是不现实的，因此宏平均可能会过度强调低频繁类别的低性能表现；
（2）weighted（权重）
（3）micro（微平均）：微平均可能在多标签的分类问题的首选
（4）samples（样本）：仅仅当多标签问题是可以采用。
多分类问题转换到二分类问题就是采用1vs all的方式；
2.2 准确率（accuracy）
采用accuracy_score来计算模型的accuracy，计算公式如下：
，其中
表示预测y值，yi表示实际的y值；
## import numpy as np from sklearn.metrics import accuracy_score y_pred = [0, 2, 1, 3] y_true = [0, 1, 2, 3] accuracy_score(y_true, y_pred) 0.5 accuracy_score(y_true, y_pred, normalize=False) 2 ###多分类问题 accuracy_score(np.array([[0, 1], [1, 1]]), np.ones((2, 2))) 0.5
2.3混淆矩阵
混淆矩阵是评价分类问题的一个典型度量，在sklearn中使用 confusion_matrix；
from sklearn.metrics import confusion_matrix y_true = [2, 0, 2, 2, 0, 1] y_pred = [0, 0, 2, 2, 0, 2] confusion_matrix(y_true, y_pred) array([[2, 0, 0], [0, 0, 1], [1, 0, 2]])
混淆矩阵Rij（多分类）的含义表示类别i被预测成类别j的次数，因此Rii表示被正确分类的次数；
对于二分类问题，混淆矩阵用来表示TN，TP，FN，FP；
y_true = [0, 0, 0, 1, 1, 1, 1, 1] y_pred = [0, 1, 0, 1, 0, 1, 0, 1] tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel() tn, fp, fn, tp (2, 1, 2, 3)
官网上提供的混淆矩阵的可视化例子：http://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html#sphx-glr-auto-examples-model-selection-plot-confusion-matrix-py
2.4 Classification report
Classification report展示了分类的主要度量指标，如下面例子所示：
from sklearn.metrics import classification_report y_true = [0, 1, 2, 2, 0] y_pred = [0, 0, 2, 1, 0] target_names = ['class 0', 'class 1', 'class 2'] print(classification_report(y_true, y_pred, target_names=target_names)) precision recall f1-score support class 0 0.67 1.00 0.80 2 class 1 0.00 0.00 0.00 1 class 2 1.00 0.50 0.67 2 avg / total 0.67 0.60 0.59 5
2.5 Hamming loss
Hamming loss计算预测结果和实际结果的海明距离，计算公式如下：
，简单的理解就是预测样本中误差总数除以样本总数
例子：
from sklearn.metrics import hamming_loss y_pred = [1, 2, 3, 4] y_true = [2, 2, 3, 4] hamming_loss(y_true, y_pred) 0.25
##在多标签分类中同样适合
hamming_loss(np.array([[0, 1], [1, 1]]), np.zeros((2, 2)))
0.75
2.6 Jaccard 相关系数：
Jaccard相关系数在推荐系统中经常使用，可以理解为预测正确的个数除以总的样本数，所以在二分类问题中，Jaccard系数和准确率是一样的。
，
例子：
import numpy as np from sklearn.metrics import jaccard_similarity_score y_pred = [0, 2, 1, 3] y_true = [0, 1, 2, 3] jaccard_similarity_score(y_true, y_pred) 0.5 jaccard_similarity_score(y_true, y_pred, normalize=False) 2 ##multilabel jaccard_similarity_score(np.array([[0, 1], [1, 1]]), np.ones((2, 2))) 0.75
2.7 precision，召回率，F系数等
（1）精准率（precision）：正确预测为正例的样本数占全部预测为正例的样本数的比例；
（2）召回率：正例样本中预测正确的样本占实际正例样本数量的比例；
（3）F系数同时兼顾了分类模型的准确率和召回率。F1分数可以看作是模型准确率和召回率的一种加权平均，它的最大值是1，最小值是0。
计算公式：
又称平衡F分数（balanced F Score），它被定义为精确率和
；
分数为
precision_recall_curve:准确率召回率曲线
，其中where 
and 
are the precision and recall at the nth threshold.
>>> from sklearn import metrics >>> y_pred = [0, 1, 0, 0] >>> y_true = [0, 1, 0, 1] >>> metrics.precision_score(y_true, y_pred) 1.0 >>> metrics.recall_score(y_true, y_pred) 0.5 >>> metrics.f1_score(y_true, y_pred) 0.66... >>> metrics.fbeta_score(y_true, y_pred, beta=0.5) 0.83... >>> metrics.fbeta_score(y_true, y_pred, beta=1) 0.66... >>> metrics.fbeta_score(y_true, y_pred, beta=2) 0.55... >>> metrics.precision_recall_fscore_support(y_true, y_pred, beta=0.5) (array([ 0.66..., 1. ]), array([ 1. , 0.5]), array([ 0.71..., 0.83...]), array([2, 2]...)) >>> import numpy as np >>> from sklearn.metrics import precision_recall_curve >>> from sklearn.metrics import average_precision_score >>> y_true = np.array([0, 0, 1, 1]) >>> y_scores = np.array([0.1, 0.4, 0.35, 0.8]) >>> precision, recall, threshold = precision_recall_curve(y_true, y_scores) >>> precision array([ 0.66..., 0.5 , 1. , 1. ]) >>> recall array([ 1. , 0.5, 0.5, 0. ]) >>> threshold array([ 0.35, 0.4 , 0.8 ]) >>> average_precision_score(y_true, y_scores) 0.83...
对于多类别分类和多标签分类，同样提供的一样的评价指标；
例子：
>>> from sklearn import metrics >>> y_true = [0, 1, 2, 0, 1, 2] >>> y_pred = [0, 2, 1, 0, 0, 1] >>> metrics.precision_score(y_true, y_pred, average='macro') 0.22... >>> metrics.recall_score(y_true, y_pred, average='micro') ... 0.33... >>> metrics.f1_score(y_true, y_pred, average='weighted') 0.26... >>> metrics.fbeta_score(y_true, y_pred, average='macro', beta=0.5) 0.23... >>> metrics.precision_recall_fscore_support(y_true, y_pred, beta=0.5, average=None) ... (array([ 0.66..., 0. , 0. ]), array([ 1., 0., 0.]), array([ 0.71..., 0. , 0. ]), array([2, 2, 2]...))
2.8 ROC曲线
ROC曲线是建模结果比较熟悉的一中展示方式：
例如如下代码：
import numpy as np from sklearn.metrics import roc_curve from sklearn.datasets import load_iris from sklearn import svm from sklearn.linear_model import LogisticRegression from sklearn.cross_validation import train_test_split from sklearn.metrics import roc_auc_score from sklearn.metrics import roc_curve import matplotlib.pyplot as plt data=load_iris() ###两分类 X,y=data.data,data.target X_train,X_test,y_train,y_test=train_test_split(X,y) est=svm.SVC(probability=True) model=est.fit(X_train,y_train) y_score=model.decision_function(X_test) fpr1,tpr1,thresholds1=roc_curve(y_test,model.predict_proba(X_test)[:,1],pos_label=1) lr=LogisticRegression() lr.fit(X_train,y_train) fpr2,tpr2,thresholds2=roc_curve(y_test,lr.predict_proba(X_test)[:,1],pos_label=1) plt.plot(fpr1,tpr1,linewidth=1,label='ROC of svm') plt.plot(fpr2,tpr2,linewidth=1,label='ROC of LR') plt.xlabel('FPR') plt.ylabel('TPR') plt.plot([0,1],[0,1],linestyle='--') plt.legend(loc=4) plt.show()
结果如上图所示。