What is RNN?
多层反馈RNN(Recurrent neural Network、循环神经网络)神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是,RNN可以利用它内部的记忆来处理任意时序的输入序列,这让它可以更容易处理如不分段的手写识别、语音识别等。
RNN
结合这一张图片,我们可以看出在图片左侧的经典RNN模型展开后得到一个有着时间序列的神经网络序列。
每一个时刻都有自己的输入,神经网络层,输出,以及不同于以往简单的神经网络,在当前层输出时必须考虑上一个时刻产生的结果。RNN正是通过这种不断考虑以前Train的结果来修正当前时刻的神经网络结果,以达到对一个有序的输入序列的处理。