基本概念
TP、True Positive 真阳性:预测为正,实际为正
FP、False Positive 假阳性:预测为正,实际为负
FN、False Negative 假阴性:预测与负、实际为正
TN、True Negative 真阴性:预测为负、实际为负。
以分类问题为例:
$ ext { 实际情况: }left{egin{array}{c} ext { 数字: } 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 \ ext { 类别: } A & A & A & A & B & B & B & C & Cend{array} ight.$
$ ext { 预测情况: }left{egin{array}{lllllllll} ext { 数字: } 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 \ ext { 类别: } A & A & B & C & B & B & C & B & Cend{array} ight.$
真阳性:“预测为正,实际也是正”。指预测正确,是哪个类就被分到哪个类
预测值:
A:1 2 B:3 5 6 8 C:4 7 9
实际值:
A:1 2 3 4 B:5 6 7 C:8 9
假阳性:“预测为正,实际为负”。预测为某个类,但实际不是。
预测值:
A:1 2 B:3 5 6 8 C:4 7 9
实际值:
A:1 2 3 4 B:5 6 7 C:8 9
假阴性:“预测为负,实际为正”。找实际值对象有几个预测错误。
实际值:
A:1 2 3 4 B:5 6 7 C:8 9
预测值:
A:1 2 3(B) 4(C) B:5 6 7(C) C:8(B) 9
具体情况看如下表格:
$egin{array}{|l|l|l|l|l|}hline & ext { A } & ext { B } & ext { C } & ext { 总计 } \hline ext { TP } & 2 & 2 & 1 & 5 \hline ext { FP } & 0 & 2 & 2 & 4 \hline ext { FN } & 2 & 1 & 1 & 4 \hlineend{array}$
精确率和召回率
$ ext { 精确率 } mathrm{P}=frac{ ext { TP真阳性 }}{T P ext { 真阳性 }+F P ext { 假阳性 }}$
计算我们预测出来的某类样本中,有多少是被正确预测的。针对预测样本而言。
$ ext { 召回率 } mathrm{R}=frac{T P ext { 真阳性 }}{T P ext { 真阳性 }+F N ext { 假阴性 }}$
针对原先实际样本而言,有多少样本被正确的预测出来了。
对于类别A:
$precision = 2/(2+0) = 100%$
$recall = 2/(2+2) = 50%$
对于类别B:
$precision = 2/(2+2) = 50%$
$recall = 2/(2+1) = 67%$
对于类别C:
$precision= 1/(1+2) = 33%$
$recall = 1/(1+1) = 50%$
F1-Score
F1分数(F1 Score),是统计学中用来衡量二分类模型精确度的一种指标,用于测量不均衡数据的精度。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均,它的最大值是1,最小值是0。
$F_{1}=2 cdot frac{ ext { precision } cdot ext { recall }}{ ext { precison }+ ext { recall }}$
Micro-averaged F1-Score
Micro F1 不需要区分类别,直接使用总体样本的准召计算 F1 score。
$precision = 5/(5+4) = 0.5556$
$recall = 5/(5+4) = 0.5556$
$F1 = 2 * (0.5556 * 0.5556)/(0.5556 + 0.5556) = 0.5556$
Macro-averaged F1
先计算出每一个类别的准召及其 F1 score,然后通过求均值得到在整个样本上的 F1 score。
类别A的:
$F 1_{A}=2 imes frac{1 imes 0.5}{1+0.5}=0.6667$
类别B的:
$F 1_{B}=2 imes frac{0.5 imes 0.67}{0.5+0.67}=0.57265$
类别C的:
$F 1_{C}=2 imes frac{0.33 imes 0.5}{0.33+0.5}=0.39759$
整体的f1为上面三者的平均值:
$F1 = (0.6667 + 0.57265 + 0.39759)/3 = 0.546$
参考:
https://zhuanlan.zhihu.com/p/64315175
https://www.kaggle.com/enforcer007/what-is-micro-averaged-f1-score/notebook
https://blog.csdn.net/lyb3b3b/article/details/84819931