论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preserving transformation不断重用其权重，EAS能够重用之前学习到的知识进行高效地探索新的结构，仅需要10 GPU days即可
来源：晓飞的算法工程笔记 公众号
论文: Efficient Architecture Search by Network Transformation
Introduction
为了加速神经网络搜索过程，论文提出EAS(Efficient Architecture Search)，meta-controller通过网络转化(network transformation)操作进行结构空间探索，操作包含拓宽层，插入层，增加skip-connections等。为了继续使用学习到的权重，基于function-preserving transformation来初始化新的不同参数的网络，再进一步训练来提高性能，能够显著地加速训练过程。对于meta-controller，则结合了最近的强化学习方法
Architecture Search by Net Transformation
整体算法逻辑如图1，meta-controller学习如何对当前网络中进行网络转换，为了学习多种网络转换操作以及不增加meta-contreoller复杂性，使用encoder network来学习当前网络的低维表达，然后传到actor netowrk来生成一个确定的模型转换动作。为了处理不定长的网络结构输入以及考虑整体网络结构，使用bidrectional recurrent network以及input embedding layer
Actor Networks
给予输入结构的低维表达，每个actor network给予特定的网络转换动作，共有两种actor network，分别是Net2Wider actor和Net2Depper
-
Net2Wider Actor
Net2Wider在保持网络功能下替换网络的某一层为更宽的层，例如对于全连接层是增加unit数，对于卷积层是增加卷积核数。对于卷积层的卷积核$K_l$，shape为$(k_wl,k_hl,f_il,f_ol)$，分别代表卷积核宽高以及输入和输出的维度数，将当前层替换成更宽的层即$hat {f}_ol>f_ol$
首先介绍随机映射函数$G_l$，可以获得新卷积核$hat{K}_l[k_wl,k_hl,f_il,f_jl]$，第一个$f_ol$直接从$K_l$中获得，剩余的$hat{f}_ol-f_o^l$维根据$G_l$从$K_l$中随机选择一维，因此，更宽的新层的输出特征$hat{O}_l=O_l(G_l(j))$
为了保持原有的功能，由于输入多了复制的部分，下一层的卷积核$K_{l+1}$需要修改，新卷积核$hat{K}_{l+1}$的shap维$(k_w{l+1},k_h{l+1},hat{f}_i{l+1}=hat{f}_ol,f_o^{l+1})$，公式3的意思大概是，权重要除以前一层对应维度复制的次数，以保证$l+1$层输出跟之前一样
为了方便，论文使用的Net2Wider actor同时决定处理的层，对于encoder netowrk输出的每一层对应的hidden state使用shared sigmoid分类器，另外将卷积的核数或全连接的unit数进行分区，直接将决定的层的对应参数升至下一个区间，例如$32 o 64$
-
Net2Deeper Actor
Net2DeeperNet操作向网络中插入新的层，然后将其初始化成跟插入identity mapping一样，保持其原来的功能。对于新的卷积层，将其卷积核设为identity卷积核，对于全连接层，则将权重矩阵设为identiy矩阵，因此，新层必须与前一层有一样的核数或unit。另外，想要保持原来网络的性能，对于激活函数$phi$，必须满足$phi(Iphi(v))=phi(v)$，ReLU能满足，而Sigmoid和thnh不能，但仍然可以重用带sigmoid或tanh激活的网络的权重，毕竟这样总比随机初始化要好。另外，当使用BN时，要设置其scale和bias为undo normalization，而不是初始化为1和0
Net2Deeper actor的结构如图3，为一个循环神经网络，hidden state初始化为encoder network的最后一个hidden state。将CNN结构根据pooling的位置分成多个block，首先确定插入的block，然后再确定插入层的下标，对于新的卷积网络，agent还需要确定卷积核大小和步长，而对于全连接层则不需要。在卷积网络中，全连接层需要在网络的顶层，如果插入位置在全局池化或全连接后面，新层则指定为全连接层
Function-preserving Transformation for DenseNet
原始的Net2Net设定网络是layer-to-layer的，没有并行层，但目前的网络大都将单层的输入应用到多个后续的多个层中，直接应用Net2Net会出现问题，因此论文对其进行了改进。对于DenseNet，$l{th}$层会将所有前面的层concatenate成输入$[O_0,O_1,...,O_{l-1}]$，标记$l{th}$层的卷积核为$K_l$，shape为$(k_wl,k_hl,f_il,f_ol)$
假设需要拓宽层并保持其功能，首先根据Net2WiderNet操作按公式1和公式2生成新层$hat{K}_l$，这样新输出为$hat{O}_l=O_l(G_l(j))$，由于$l^{th}$的输出会传递到多层，$hat{O}_l$的复制会传递到后面的所有层，所以要修改所有后续的层
对于$m{th}>l$层，输入变为$[O_0,...,O_{l-1},hat{O}_l,O_{l+1},...,O_{m-1}]$，将随机映射函数改为公式4，$f_o{0:l}=sum_{v=0}{l-1}f_ov$为$l^{th}$层的所有输入数量，公式4的第一部分为$[O_0,...,O_{l-1}]$，第二部分为$hat{O}l$，第三部分为$[O{l+1},...,O_{m-1}]$
$hat{G}m$的简单示意如上，前面的为新层的index，后面为对应的旧的维度index，然后$m^{th}$层的新权重直接使用替换成$hat{G}m$的公式3获得
假设要在DenseNet的$l{th}$层插入新层，新层输入为$O_{new}$，输出为$[O_0,O_1,...,O_l]$。因此，对于$m{th}>l$层，插入后的输入为$[O_0,...,O{l},O{new},O_{l+1},...,O_{m-1}]$，为了按照类似Net2WiderNet那样保持性能，$O_{new}$应该为$[O_0,O_1,...,O_l]$中的一个复制
新层的每个卷积核可以表示为tensor$hat{F}$，shape为$(k_w{new},k_h{new},f_i{new}=f_o{0:l+1})$，第三项为输入channel数。为了让$hat{F}$的输入为$[O_0,O_1,...,O_l]$的$n^{th}$项，按照类似公式5的方式进行设置(假设卷积宽高为3)，其它卷积核设为0，当新层的的输出设定好后。建立一个特定的随机映射(这里是按照层建立映射，前面是按照映射建立层)，然后按照公式4和公式3来修改后续的层的卷积核
Experiments and Results
EAS使用5 GPU进行搜索，有两种设定，第一种为普通卷积网络空间，仅包含卷积、池化和全连接，第二种为DenseNet结构空间
Training Details
meta-controller为单层双向LSTM，50个hidden units，embedding size为16，使用ADAM进行训练。每轮通过网络转换采样10个模型，由于重用了特征，每个模型只训练20轮(原来为50轮)，初始学习率调低为0.02，使用SGD训练，对准确率$acc$进行线性变化来放大高准确率的收益，例如$tanh(acc_v imes pi/2)$，另外，每个卷积和全连接后面接ReLU和BN
Explore Plain CNN Architecture Space
-
Start with Small Network
初始网络如表1，卷积核大小为${1,3,5 {}}$，卷积核数量为${16,32,64,96,128,192,256,320,384,448,512 }$，全卷积的unit数为${64,128,256,384,512,640,768,896,1024 }$
训练分为两阶段，第一阶段每轮将起始网络进行5次Net2Deeper和4次Net2Wider，采样够300个网络后，选取表现最好的网络训练100轮作为下阶段的输入。第二阶段也是进行5次Net2Deeper和4次Net2Wider，采样150个网络后停止，取最好模型进行300轮迭代。结果如表2的depth=16，整体需要10 GPU days，共450个网络
-
Further Explore Larger Architecture Space
将上一个实验的最好模型作为这次实验的起点，结果如表2的depth=20，另外与SOTA进行了对比，结果如表3
-
Comparison Between RL and Random Search
Explore DenseNet Architecture Space
将DenseNet-BC(L=40,k=40)作为起点，结果如表4
CONCLUSION
论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preserving transformation不断重用其权重，EAS能够重用之前学习到的知识进行高效地探索新的结构，仅需要10 GPU days即可
如果本文对你有帮助，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】
