在分类器设计过程中，如何评价分类器至关重要，一个好的评价指标更有利于我们对分类模型进行优化；同时，好的分类器评价指标要求其充分反应出分类器对问题的解决能力，也更容易向使用者、客户展示交互。
在分类问题中，一个实例可能被判定为一下四种类型之一：
Ÿ TP(True Positive)：被模型预测为正的正样本；
Ÿ FP(False Positive)：被模型预测为正的负样本；
Ÿ FN(False Negative)：被模型预测为负的正样本；
ŸTN(True Negative)：被模型预测为负的负样本；
由这四种类型可以得到一个混淆矩阵(Confusion Matrix)：
|
Confusion Matrix |
Predicted |
||
|
Negative |
Positive |
||
|
Actual |
Negative |
TN |
ŸFP |
|
Positive |
FN |
TP |
|
准确率(Aaccuracy)：对整个样本集的判定能力，即将正的判定为正、负的判定为负，A=(TP+TN)/(TP+FN+FP+TN)；
灵敏度(Sensitivity)：将正样本预测为正样本的能力，Sensitivity=TP/(TP+FN)；
特异度(Specificity)：将负样本预测为负样本的能力，Specificity=TN/(TN+FP)；
ROC(Receiver Operating Charateristic)：ROC的主要分析工具为画在ROC空间的曲线（如下图），横轴为1- Specificity，纵轴为Sensitivity。在分类问题中，一个阀值对应于一个特异性及灵敏度，并在ROC空间描出一个点P，当阀值连续移动时，P点也随即移动最终绘成ROC曲线。ROC良好的刻画了不同阀值对样本的分辨能力，也同时反应出对正例和对反例的分辨能力，方便使用者根据实际需求选用合适的阀值。一个好的分类模型要求ROC曲线尽可能靠近图形的左上角；
ROC曲线（图片引子维基百科）
AUC(Area Under roc Curve)值指处于ROC曲线下方的那部分面积大小；一个理想的分类模型其AUC值为1，通常其值在0.5至1.0之间，较大的AUC代表了分类模型具备较好的性能。