感觉自己看的一脸懵b;
但看懂了这篇文章要讲啥:
- 以RRN为背景的神经机器翻译是seq2seq,但这样带来的问题是不可以并行计算,拖长时间,除此之外会使得寻找距离远的单词之间的依赖关系变得困难。而本文讲的Attention机制就很好的解决了这个问题,并且也解决了远距离之间的依赖关系问题。
- 前馈神经网络,有异于RNN,输入层到输出层之间没有递归。输入层到输出层只是单向的传输。
- -------------------------至于实现,自己一脸懵,明天继续-------------打包回家------