• 【文献阅读】Stack What-Where Auto-encoders -ICLR-2016


    一、Abstract

    提出一种新的autoencoder —- SWWAE(stacked what-where auto-encoders),更准确的说是一种 convolutional autoencoder,因为在CNN中的pooling处才有 “what-where。SWWAE呢,是一种整合了supervised,semi-supervised and unsupervised learning 的model(暂时不理解这是什么意思,感觉好厉害的样子## 标题 ##,先记着)。what-where最根本的作用是在decode中uppooling时,把value放到指定位置(encode时对应的pool层所记录的位置,即where),看图吧,一图胜千言
    这里写图片描述
    第一幅图说明了pooling 和unpooling的一一对应关系,以及what-where
    这里写图片描述
    第二幅图就是整个SWWAE的示意图
    添加what-where的好处就是

    SWWAE适用于 大量无标签数据+小量标签数据的情况

    二、Key words:

    SWWAE; reconstruction;encoder;decoder

    三、Motivation

    1.想整合平衡(leverage)labeled and unlabeled data 来学习更好的feature(representation)

    四、main contributions

    1.提供了一种可以 unified supervised,semi-supervised and unsupervised learning的model
    2.提供一个当无标签样本多,有标签样本少时的一种训练模型(1 )
    3.unsupervised learning 会学习一些 trivial representation ,加入 supervised loss 可以避免(3.2)

    五、inspired by

    1. Yann LeCun, L ́ eon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998.
    2. Matthew D Zeiler, Dilip Krishnan, Graham W Taylor, and Robert Fergus. Deconvolutional networks. In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, pp. 2528–2535. IEEE, 2010.
    3. Tom Le Paine, Pooya Khorrami, Wei Han, and Thomas S Huang. An analysis of unsupervised pre-training in light of recent advances. arXiv preprint arXiv:1412.6597, 2014.
      key word:CNN; Deconvolutional network;regularization effect !

    六、文献具体实验及结果

    4.1 对比 upsampling(what but no where) andunpooling(what-where),实验证明 在 reconstruction过程中,“where”是很重要的七、 自己的感悟
    4.2 实验没看明白,搞不懂 invariance and equivariance是什么鬼,留着以后看
    4.3提高分类性能,说提高了MNIST,SVHN的分类性能

    七、 自己的感悟

    1. loss function = classification loss + reconstructions loss + middle reconstruction loss
      总共三部分loss,第一部分loss就是我们平时supervised learning中常见的。而后面两个reconstruction loss 其实就是重构误差,即decode 与 code 之间的误差,这两部分loss相当于一个regularizer,对encoder阶段中的weights做了regularization,迫使weights可以使得提出的特征能通过decoder还原成原信号(图片)

    2. 针对reconstruction 可以看作一个 regularizer,
      2010年 Erhan就提到,但是证明不足以让人信服;
      2014年 Paine分析regularization effect,可以追一追,看看是什么结构(e.g deconvnet?)提供了一个loss,这个loss对weights的更新起到某种限制,从而使得提取出的feature更好,这个可以作为一个研究方向

    3. 按道理作者提出 where,应该开门见山就说 有了where的模型会怎么怎么样才对啊,但是从头一直找啊找,直到实验4.1,丢出图,给出结论,where 对reconstruction很重要,会更清晰。。。这种做法感觉怪怪的

    4. 可以追的paper 2014 Paine分析 regularization effect ;
      deconvnet 及其 loss 方面,Matthew D Zeiler 大神的系列文章,一开始认识他是2013反卷积 Iamgenet2013冠军!

  • 相关阅读:
    tornado硬件管理系统-数据存储与表格实时监控(8)
    db2 内存研究
    Oracle dml开始到commit期间的流程
    用户界面与业务逻辑的分离
    计算器核心算法——终结版
    计算器核心算法——中缀表达式转为后缀表达式
    计算器核心解析算法(上)
    Qt中的字符串类
    初探Qt中的消息处理
    计算器界面代码重构
  • 原文地址:https://www.cnblogs.com/TensorSense/p/7413308.html
Copyright © 2020-2023  润新知