【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016

一、Abstract

从近期对unsupervised learning 的研究得到启发，在large-scale setting 上，本文把unsupervised learning 与supervised learning结合起来，提高了supervised learning的性能。主要是把autoencoder与CNN结合起来

二、Key words:

SAE;SWWAE; reconstruction；encoder；decoder;VGG-16;Alex-Net

三、 Motivation

1. reconstruction loss 很有用，reconstruction loss可以看作一个regularizer（SWWAE文中提到）.
2. unsupervised learning会对model起一定的限定作用，即相当于一个regularizer，这个regularizer使得encoder阶段提取得到的特征具有可解释性

四、Main contributions

1. 本文实验表明了，high-capacity neural networks（采用了known switches）的 intermediate activations 可以保存input的大量信息，除了部分
   2.通过结合decoder pathway 的loss，提升了supervised learning model的分类正确率
   3.做了几个 autoencoder模型的对比实验，发现： the pooling switches and the layer-wise reconstruction loss 非常重要！

五、Inspired by

1. Zhao, J., Mathieu, M., Goroshin, R., and Lecun, Y. Stacked what-where auto-encoders. ArXiv:1506.02351, 2015.
2. Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. In ICLR,2015.
3. Krizhevsky, A., Sutskever, I., and Hinton, G. E. Imagenet classification with deep convolutional neural networks.In NIPS, 2012.
   Rasmus, A., Valpola, H., Honkala, M., Berglund, M., and Raiko, T. Semi-supervised learning with ladder network.In NIPS, 2015.
4. Adaptive deconvolutional networks for mid and high level feature learning
5. Zeiler, M. D., Krishnan, D., Taylor, G. W., and Fergus, R. Deconvolutional networks. CVPR, 2010.
6. Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolu-tional networks for mid and high level feature learning.In ICCV, 2011.

key word:SWWAE;VGG-16;Alex-Net;ladder-Net；Deconvolutional network

六、文献具体实验及结果

1.SAE-all模型的训练：
第一步，采用VGG-16（训练好的VGG-16）初始化encoder，采用gaussian初始化decoder
第二步，固定encoder部分，用layerwise的方法训练decoder
第三步，用数据整体的训练更新decoder和encoder的参数

SAE-first模型的训练同SAE-all

SAE-layerwise一般只是拿来初始化 SAE-first SAE-all

SWWAE-all 提升了 1.66 % and 1.18% for single-crop and convolution schemes.
(top-1)

七、 感悟

1. 2006～2010年期间， unsupervised learning 盛行是以为当时有标签数据不够大，所以需要用unsupervised leanring 的方法来初始化网络，可以取得较好效果，而 类似imagenet这样的大量标签数据的出现， 用autoencoder来初始化网络的优势已经没有。从这里也可以知道，当数据量较小时，可以考虑用unsupervised learning 的方法来初始化网络，从而提升分类准确率
2. reconstruction loss 可以看作 regularization , 即是对enconder的weights做了一些限制，限制其获得的activations要能recon出input，是的提取得到的特征具有可解释性