https://www.bilibili.com/video/BV1kE411G7qo?p=13
1.
I 将index转化为词向量
G 更新向量中的信息
O ouput向量
R 将向量转化为 词/句子
Memory Network 流程:
1. 我们有一些facts 向量John... Bob... 为m1,m2等(这些就是memory); query 为向量U
2. 先将facts向量与query向量 dot product,生成一些值,再入softmax,得到每个fact的概率 p1,p2..pn
3. 将概率与 facts向量相乘 再加和,得到memory 向量,用来更新memory
4. 如果想再走一层,可以将算出来的memory向量u2,再与m1,m2,m3点乘,softmax,带权相乘相加,得到u3,然后将向量输出成 词 kitchen (或者句子),也是用softmax选取u3 对所有已知向量中soft max 最大的对应的词
5. 而facts vector 或 query vector 都是 bag-of-word 或 word2vec
例如:
1. query : football -> u1 : john picked up the football -> u2: john was in playgroud