• 论文笔记 — L2-Net: Deep Learning of Discriminative Patch Descriptor in Euclidean Space


    论文:

      本文主要贡献:

      1、提出了一种新的采样策略,使网络在少数的epoch迭代中,接触百万量级的训练样本;

      2、基于局部图像块匹配问题,强调度量描述子的相对距离;

      3、在中间特征图上加入额外的监督;

      4、描述符的紧实性。

      基于CNN的局部图像块匹配方法可以分为两类:一是,作为二分类问题,不存在明确的特征描述子概念,好处是准确率相对第二类高很多,但可移植性能差;二是,CNN输出学习的图像块描述子,没有度量学习层,好处是可以作为以前的很多基于手工描述子方法应用的直接替代。

      A、网络框架:

      左边是输入:32*32*1图像块,输出128的特征描述子;右边是双塔结构,The input of the tower on the left is the same with a solo L2-Net, while the input of the tower on the right is generated by cropping and resizing the central part of the original patches.

     B、数据集

      Brown dataset 和HPatches dataset 数据集

    C、训练数据的采样策略

      由于采集的数据patch中正负样本极度不平衡,大量的负样本,之前的方法是选取等量的正负样本作为固定的训练数据集,但这违背了实际中测试数据存在大量负样本的事实。本文采用随机采样的方式,,其中1和2是匹配点对,经过特征提取网络得到,通过L2范数计算特征描述子的距离矩阵,其大小为p*p,对角线上的是正样本点对距离,其他位置是负样本。

    D、损失函数

      包括三个方面:

    • (1)描述子相似性。相对的距离度量匹配和不匹配图像块对;
    • (2)描述子的紧实性。让更少维度的描述子包含足够多的特征信息,减少冗余,也就是说描述子的维度尽量减少相关性冗余;
    • (3)在特征提取网络中间层的特征图增加约束,而不只是在最后,匹配的特征图更相近,不匹配远离。

     E、训练及预测

      左边框架正常输入64*64*1图像块;右边训练时,用训练好的左边框架参数初始化双塔结构的左边网络,左边固定不变,更新右边参数直至收敛。

      数据扩充方式:垂直、水平翻转;选择90,180,270度。

      结论:

       (1)紧致性学习很重要。由于数据量巨大,对于网络来说,记住数据比学习泛化性特征更容易些,因此如果没有这个约束,网络过拟合严重,学习输出的特征相关性较大,存在特征维度的冗余,因此紧致性约束的重要性高于训练数据选择的策略,同时解决了过拟合问题;

      (2)训练样本的选择策略很重要,充分利用数据。

      (3)损失函数的设计,从多个角度约束特征描述子的学习,得到更紧致的特征,特征图的约束提高了网络性能。

  • 相关阅读:
    android创建自定义对话框
    激光裁剪的商务名片
    60个响应式的Web设计教程–能够手机访问!
    前端性能优化:使用Data URI代替图片SRC
    40个最好的Tumblr主题
    40个超酷的jQuery动画效果教程
    15个最好的jQuery timeline插件
    60+富有创意的宣传册设计
    Eclipse安装SVN
    EXPLAIN 关键字可以 查看 sql执行 的详细过程
  • 原文地址:https://www.cnblogs.com/eilearn/p/9998369.html
Copyright © 2020-2023  润新知