这个论文讲述了attention机制的发展历史以及在发展过程的变体-注意力机制(Attention Mechanism)在自然语言处理中的应用
上面那个论文提到attention在CNN中应用,有一个模型叫做ABCNN模型,我找到了相应的博文解释,写的还是不错的,可以看一下这里-《ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs》阅读笔记
这个论文 对上面这个ABCNN模型进行了一个pytorch的实现论文笔记:ABCNN 阅读和实现(PyTorch)
这个哥们在知乎现在在用pytorch实现一些模型,还不错可以关注一波,我感觉他还挺厉害的,可以看看它其他的文章,比如说短文本匹配问题
他还写了一篇关于transformer的可以看一看transfromer
attention机制在图像分类中的是实现-这个作者做了一个综述
图片生成文字原理综述-我对这个了解不深,这个博文我也不知道写的咋样不过可以了解一下
其实主要是根据两个博文来看
一个这个论文讲述了attention机制的发展历史以及在发展过程的变体-注意力机制(Attention Mechanism)在自然语言处理中的应用
讲述了论文
一个这个
Attention Mechanism 学习笔记1
模型汇总24 - 深度学习中Attention Mechanism详细介绍:原理、分类及应用 - lqfarmer的文章 - 知乎
https://zhuanlan.zhihu.com/p/31547842