• 多尺度检测(特征金字塔)(空间金字塔池化)(融合多层信息)的好处


    多尺度检测(不同的idea)

    (特征金字塔)(空间金字塔池化)(带洞空间金字塔池化)(融合深浅层特征)

    检测和分割中的例子

    分割:

      sppnet中的spp空间金字塔池化结构;(spatial pyramid pooling)

      pspnet中的pyramid pooling moudle结构,综合讲是金字塔场景解析结构;

      deeplabv3+中的aspp结构,以及解码过程中联合编码部分信息的构造;(atrous spatial pyramid pooling)

    检测:

      ssd中的使用多尺度的特征图投向最后的检测器;

      yolov3中使用的三个不同尺度,小尺度上采样融合前面特征变成大尺度;

      FPN中的top-down结构,各种改造的特征金字塔(NAS-FPN、panet、Bifpn);

      trident net中的三叉戟结构,类似aspp结构;

     根据不同的任务,下面的理由适合解释多尺度的好处。

    深层浅层map信息特征

    深层网络的感受野比较大,语义信息表征能力强,但是特征图的分辨率低,几何信息的表征能力弱(空间几何特征细节缺乏);

    低层网络的感受野比较小,几何细节信息表征能力强,虽然分辨率高,但是语义信息表征能力弱。

    高层的语义信息能够帮助我们准确的检测或分割出目标。

    深浅层对应适合的目标大小

    下采样倍数小(一般是浅层)的特征感受野小,适合处理小目标,小尺度map(深层)分辨率信息不足不适合小目标

    在yolov3中对多尺度检测的理解是,1/32大小的特征图(深层)下采样倍数高,所以具有大的感受野,适合检测大目标的物体,1/8的特征图(较浅层)具有较小的感受野,所以适合检测小目标。

     FPN中的处理在下面。

    对于小目标,小尺度feature map无法提供必要的分辨率信息,所以还需结合大尺度的feature map

     还有个原因是在深层图做downsample损失过多信息,小目标信息或许已经被忽略。

    融合深浅层特征适合做复杂任务

    融合深浅层后的特征语义信息特征和空间信息特征都不错。

    图像中存在不同尺寸的目标,而不同的目标具有不同的特征,利用浅层的特征就可以将简单的目标的区分开来;利用深层的特征可以将复杂的目标区分开来;这样我们就需要这样的一个特征金字塔来完成这件事。

    图中我们在第4层输出较大目标的实例分割结果,在第5层输出中型目标的实例检测结果,

    在第6层输出较小目标的实例分割结果。因为在大的feature map上进行操作,可以获得更多关于小目标的有用信息(分辨率有关,第三条);

    检测也是一样,我们会在第4层输出简单的目标,第5层输出较复杂的目标,第6层输出复杂的目标。

    举例SSD:

    SSD采用多尺度的特征图来预测目标,使用具有较大感受野的高层特征信息预测大的物体,具有较小感受野的低层特征信息预测小目标。

    这样就带来一个问题:使用的低层网络的特征信息预测小目标时,由于缺乏高层语义特征,导致SSD对于小目标的分类结果较差,即SSD没有充分利用浅层与深层的特征。

    解决这个问题的思路就是对高层语义信息和低层语义信息进行融合,丰富预测回归位置框和分类任务输入的多尺度特征图,以此提高精度。

  • 相关阅读:
    DB2数据库BACKUP PENDING状态(修改日志模式导致)(转)
    JAVA调用WebService实例
    eclipse启动报JVM terminated. Exit code=-1的解决方法
    JAVA使用Dom4j组装、解析XML
    任务调度IBM Tivoli Workload Scheduler(TWS)
    Java遍历Map数据的几种方式
    谈谈我对Log4j2以外的感想
    ESQL中添加JMS参数
    node.js-node-inspector调试
    前端-浏览器内核
  • 原文地址:https://www.cnblogs.com/ywheunji/p/11022674.html
Copyright © 2020-2023  润新知