Transformer学习资源转载
深入Attention机制
attention_output = Attention(Query, Key, Value) 。
在机器翻译<x, y>的encoder-decoder结构之中, Query属于Target，<Key, Value>属于Source。
Query就是encoder最后一层和decoder隐层状态所代表的中间语义信息。Key和Value在机器翻译中是一样的，都代表输入x。
综上，Attention机制就是利用Target中的Query与Source中的Key的相似性计算权重，然后再将权重分配给Source的Value
PS:self-attention就是Q=K(=V)的情况，即Target与Source相同，或者也可以就叫做仅利用Source信息的Attention。