SRU(Simple Recurrent Unit),单循环单元
src/nnet/nnet-recurrent.h
使用Tanh作为非线性单元
SRU不保留内部状态
训练时,每个训练序列以零向量开始
可以用作'以句为单位的'训练以及多流训练
nnet3/nnet3-simple-recurrent-unit.h
具体是添加了一个组件:
<SRUStreams>
训练的神经网络被称为CLDNN
脚本支持平均随机梯度下降(ASGD,Asynchronous Stochastic Gradient Descent)
编写了一系列适用于SRU的工具:
- aslp-nnet-init
- aslp-nnet-info
- aslp-nnet-convert-to-standard
-
standard-convert-to-aslp-nnet
aslp nnet是一种适用于移动设备的神经网络结构