一周论文阅读20200629

• DeepWalk: Online Learning of Social Representations
  对于具有图结构的数据，通过随机游走算法可以得到一些序列片段，再将这些序列片段当作文本片段用w2v相同的方法，可以得到图结构中各个节点的embedding。
• LINE: Large-scale Information Network Embedding
  图嵌入中有 “first-order proximity” 和 “second-order proximity”两种性质，前一种性质是说图中距离相近的节点，其embedding也应该相似，后一种性质是说图结构中两个节点有相似的邻居，这两个节点的embedding也应该相似。这篇文章显式地定义了这两种性质对应的loss。通过优化这两个loss得到具有这两种性质的embedding。
• Node2vec - Scalable Feature Learning for Networks
  改进了deepwalk 算法，作者认为深度优先的游走和广度优先的游走分别对应了前面说的图结构中的两种性质。作者设计参数控制游走时深度优先和广度优先的比例，再利用和deepwalk相同的方法得到节点的embedding。
• Structural Deep Network Embedding
  这篇文章作者没有用w2v的浅层模型训练embedding而是用了深度模型。对于图结构的两种性质作者分别设计了两个目标进行学习：first-order proximity 采用监督方式进行学习，second-order proximity 采用auto encode 的方式学习。
• Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba
  阿里发的论文，主要参考了deepwalk的方法，用作推荐系统召回向量。引入了“side information” 信息，比如品牌、价格等性质的embedding 来解决冷启动的问题
• Unified Language Model Pre-training for Natural Language Understanding and Generation
  利用bert的mask机制实现seq2seq。例如对于语言模型的任务可以实现一个“对角”的mask，从而在某个token 进行attention时只会attention这个token之前的token，这与单向语言模型性质相符。在seq2seq时，encoding 时用的是双向的attention而在decoding阶段用的是单向attention，既在生成序列时只能关注之前出现的token。用这种方法能直接用一个bert实现seq2seq任务。