• 《Cascaded Pyramid Network for Multi-Person Pose Estimation》论文阅读及复现笔记


    一、PipeLine 要点

    TopDown + GlobalNet + RefineNet

    二、Motivation

    通过提高对难以识别的关键点的识别准确率,来提升总体识别准确率。

    方法:1.refineNet中提升感受野

               2. 在线难例挖掘

    三、关键点

    1. 软非最大值抑制(Soft NMS)

     Hard NMS是将IOU超过阈值之后的,分数比较差的框直接过滤掉,保留框相对较少。软非最大值抑制将分数较差的框的得分进一步抑制降低但保留(前提是IOU达到阈值以上),提升了一定的物体检测的召回率,从而提升了最终的AP,实验图如下:

     感觉提升点并不明显,召回率提升应该对CoCo打榜有好处

    2. GlobalNet

    1. 使用3*3卷积对resNet的C2~C5层进行计算,回归出热度图。浅层特征图具备足够的空间信息来进行定位,深层特征具备足够的语义信息做识别

    2. 实际上模型是借鉴了FPN做各层feature的层间融合并分别进行不同尺度的预测,输出L2 Loss,与FPN不同的是,在融合前使用1*1卷积进行了维度控制

    结构图可参考论文,以下为打印出的层次结构(基于resNet-50):

    4层feature分别输出了4套热度图

     3.RefineNet

    与hourglass的refine策略不同之处在于,CPN采用了所有的金字塔特征图而不是单一的最后一层上采样特征图。

    4.OHKM 在线难例挖掘

    Global回归的17个热度图,可以划分为难例和易例,人工区分不是好办法,因此从loss角度进行区分,将17个loss排序,loss相对较大的keypoints回传,剩下的简单的一部分,不回传或置0

     可以看出M在8左右的时候性能最佳

    5. preprocessing

    图片尺寸放大对数值提升有影响,但方形图片扩充后包含信息不会起太大作用,Batch降低还会导致AP降低,图片预处理宽高比不应设置成1:1

    四、疑问

    依然没有tracking相关的介绍

    以上数值包括Coco挑战比赛均基于旷视Meg Brain平台

  • 相关阅读:
    SAS学习经验总结分享:篇三—SAS函数
    SAS学习经验总结分享:篇二—input语句
    微信指尖海报制作流程——中秋佳节
    SAS学习经验总结分享:篇一—数据的读取
    SAS连接MYSQL的步骤及引用数据表
    动态PPT制作
    cmake实战第一篇:初试 cmake
    由浅到深理解ROS(5)- launch启动文件的理解与编写
    由浅到深理解ROS(4)
    由浅到深理解ROS(3)-命名空间
  • 原文地址:https://www.cnblogs.com/punkcure/p/11750475.html
Copyright © 2020-2023  润新知