• 行人重识别和车辆重识别(ReID)中的评测指标——mAP和Rank-k


    1.mAP

    mAP的全称是mean Average Precision,意为平均精度均值(如果按照原来的顺利翻译就是平均均值精度)。这个指标是多目标检测和多标签图像分类中长常用的评测指标,因为这类任务中的标签大多不止一个,所以不能用普通的单标签图像的分类标准,也就是mean Precision,平均精确确率这个指标。mAP是将多分类任务中的平均精度AP(Average Precision)求和再取平均。

    ---------------------------------------来自菜鸡的分割线-----------------------------------------

    因为我对基本概念的东西一直都模棱两可的,所以还是先拓展一下Precision,精确率这个指标。精确率的定义是,对于给定的测试数据集,分类器正确分类的样本数与总样本数之比的值。

    假设样本总图像数为 n(x+y),预测目标数为 x,干扰目标数为 y,预测正确的正样本数(True Positive)为TP,预测错误的正样本数(False Positive)为FP,预测正确的负样本数(True Negative)为TN,预测错误的负样本数(False Negative)为FN。

    则精确率Precision和召回率Recall的定义为:

                               在这里插入图片描述

    Precision就是检测出来的样本有多少是准确的,Recall就是所有准确的条目有多少被检索出来了。

    而平均精确率,即为所有准确率的和除以该类别的图像数量:

    AP衡量的是模型在单个类别上判断结果的好坏(效果好坏),mAP衡量的是模型在所有类别上的好坏。

    由于目标检测中有不止一个类别,因此需要对所有类别计算平均AP值:
                                                               在这里插入图片描述

    其中, 分子为每一个类别的平均精度, 分母为总类别数。

    看回第4点的那个例子:

         当需要检索的人数为1时,AP=(100%+66.66%+50%)/3=72.22%
         而当需要检索的不止1个人时,此时正确率则取所有人的平均mAP。如图所示:


    ---------------------------------------来自菜鸡的分割线-----------------------------------------

     2.Rank-k

    搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。

    参考资料:https://blog.csdn.net/Chen_yuazzy/article/details/89261887

    例子:

    假设你的分类系统最终的目的是:能取出测试集中所有飞机的图片,而不是大雁的图片。

    现在做如下的定义:
    True positives : 飞机的图片被正确的识别成了飞机。
    True negatives: 大雁的图片没有被识别出来,系统正确地认为它们是大雁。
    False positives: 大雁的图片被错误地识别成了飞机。
    False negatives: 飞机的图片没有被识别出来,系统错误地认为它们是大雁。

    假设你的分类系统使用了上述假设识别出了四个结果,如下图所示:


    那么在识别出的这四张照片中:
    True positives : 有三个,画绿色框的飞机。
    False positives: 有一个,画红色框的大雁。

    没被识别出来的六张图片中:
    True negatives : 有四个,这四个大雁的图片,系统正确地没有把它们识别成飞机。
    False negatives: 有两个,两个飞机没有被识别出来,系统错误地认为它们是大雁。

    Precision 与 Recall
    Precision其实就是在识别出来的图片中,True positives所占的比率:

    这里写图片描述

    其中的n代表的是(True positives + False positives),也就是系统一共识别出来多少照片 。
    在这一例子中,True positives为3,False positives为1,所以Precision值是 3/(3+1)=0.75。
    意味着在识别出的结果中,飞机的图片占75%。

    Recall 是被正确识别出来的飞机个数与测试集中所有飞机的个数的比值:

    这里写图片描述

    Recall的分母是(True positives + False negatives),这两个值的和,可以理解为一共有多少张飞机的照片。
    在这一例子中,True positives为3,False negatives为2,那么Recall值是 3/(3+2)=0.6。
    意味着在所有的飞机图片中,60%的飞机被正确的识别成飞机.。

    原文链接:https://blog.csdn.net/hysteric314/article/details/54093734

  • 相关阅读:
    物联网平台推荐
    支持可视化看板和组态的物联网平台
    ThingsKit物联网平台物模型发布啦!!! ​​​
    基于ThingsBoard二次开发的物联网平台:ThingsKit物联网平台
    ThingsKit 物联网平台 v1.0.0 Release 版本发布
    ThingsKit:基于 Thingsboard 开发,面向中小型企业开箱即用的物联网平台。
    一文读懂 TDengine 的三种查询功能
    如何从 InfluxDB/OpenTSDB 无缝连接到 TDengine
    中智车联:用 TDengine 高效处理车辆运营可视化管理
    新一代开源时序数据库TDengine有哪些优势?
  • 原文地址:https://www.cnblogs.com/tay007/p/11341701.html
Copyright © 2020-2023  润新知