AUC本质上反应的是分类器对样本的排序能力

AUC的理解

实际上AUC和Mann-Whitney U test有密切的联系。从 Mann-Whitney U statistic的角度来解释, AUC就是从所有1样本中随机选取一个样本, (quad) 从所有0 样本中随机选取一个样本，然后根据你的分类器对两个随机样本进行预测，把1样本预测为1的概率 为p1，把0样本预测为1的概率为p0, (mathrm{p} 1>) p0的概率就等于AUC。所以AUC反应的是分类器对样本的排序能力。根据这个解释, 如果我们完全随机的对样本分类, 那么AUC应该接近0.5。另外值得注意的是, AUC对样本类别是否均衡并不敏感, 这也是不均衡样本通常用AUC评价分类器性能的一个
原因。知乎

from sklearn import metrics
def aucfun(act,pred):
  fpr, tpr, thresholds = metrics.roc_curve(act, pred, pos_label=1)
  return metrics.auc(fpr, tpr)