word2vec + transE 知识表示模型

本文主要工作是将文本方法 (word2vec) 和知识库方法 (transE) 相融合作知识表示，即将外部知识库信息（三元组）加入word2vec语言模型，作为正则项指导词向量的学习，将得到的词向量用于分类任务，效果有一定提升。

一. word2vec 模型

　　word2vec 是 Google 在 2013 年开源推出的一款将词表征为实数值向量的高效工具，使用的是 Distributed representation (Hinton, 1986) 的词向量表示方式，基本思想是通过训练将每个词映射成 K 维实数向量后，可通过词之间的距离（比如 cosine 相似度、欧氏距离等）来判断它们之间的语义相似度。word2vec 输出的词向量可以被用来做很多 NLP 相关的工作，比如聚类、找同义词、词性分析等。同时 word2vec 还发现有趣的单词类比推理现象，即 V(king) - V(man) + V(woman) ≈ V(queue) 。

　　word2vec 本质上是一种神经概率语言模型 (Bengio,2003)，通过神经网络来训练语言模型，而词向量只是副产品。其中有两个重要模型 —— CBOW 模型 (Continuous Bag-of-Word Model) 和 Skip-gram 模型 (Continuous Skip-gram Model)，同时作者给出了两套框架，分别基于 Hierarchical Softmax(hs) 和 Negative Sampling(NEG)，本文使用了基于Negative Sampling 的 CBOW 模型，下面进行简单介绍：

基于 Negative Sampling 的 CBOW 模型

　　CBOW 模型包含三层：输入层，投影层和输出层，在已知当前词 w_t 的上下文 w_t-2, w_t-1, w_t+1, w_t+2 的前提下预测当前词 w_t（见下图）

　　模型优化的目标函数是如下的对数似然函数，关键就在于  的构建。

　　 

　　传统神经概率语言模型使用的是 softmax，但 softmax 计算复杂度高，尤其语料词汇量大的时候。

　　

　　在 word2vec 中，使用 Hierarchical Softmax 和 Negative Sampling 来近似计算，目的是提高训练速度并改善词向量的质量。与 Hierarchical Softmax 相比，NEG不再使用复杂的 Huffman树， 而是采用随机负采样的方法，增大正样本的概率同时降低负样本的概率。

　　在 CBOW 模型中，已知词 w 的上下文 Context(w)，需要预测 w，因此对于给定的 Context(w)，词 w 就是一个正样本，其它词就是负样本，对于一个给定的样本(Context(w), w)，我们希望最大化

　　

　　其中，NEG(w) 表示负样本集，正样本标签为 1，负样本标签为0，其概率计算如下

　　

　　或者写成整体表达式

　　

　　故优化目标就是最大化 g(w)，增大正样本的概率同时降低负样本的概率。对于一个给定的语料库C，函数G就是整体优化的目标，为了计算方便，对G取对数，最终目标函数如下：

　　

　　利用随机梯度上升对上式进行求解即可，这里直接给出梯度计算结果，

　　 ，  

　　故参数θ^u更新公式如下：

　　 

      对于 w’ 属于 Context(w) ，即其上下文词向量更新公式如下：

     

　　下面以样本 (Context(w), w) 为例，给出基于Negative Sampling 的 CBOW 模型训练过程的伪代码，与 word2vec 源码 相对应关系如下： 对应  ， 对应  ，  对应  ， 对应  。之后我们结合 transE 模型时，也是根据 word2vec 源码进行改进。

　　关于word2vec的数学原理以及公式推导过程，强烈推荐@peghoty的博客：word2vec中的数学原理详解

二. transE 模型

　　TransE 是基于实体和关系的分布式向量表示，由 Bordes 等人于2013年提出，受word2vec启发，利用了词向量的平移不变现象。将每个三元组实例 (head，relation，tail) 中的关系 relation 看做从实体 head 到实体 tail 的翻译，通过不断调整h、r和t (head、relation 和 tail 的向量)，使 (h + r) 尽可能与 t 相等，即 h + r ≈ t。该优化目标如下图所示：

　　

　　TransE 定义了一个距离函数 d(h + r, t)，它用来衡量 h + r 和 t 之间的距离，在实际应用中可以使用 L1 或 L2 范数。在模型的训练过程中，transE采用最大间隔方法，其目标函数如下：

　　

　　其中，S是知识库中的三元组，S’是负采样的三元组，通过替换 h 或 t 所得。γ 是取值大于0的间隔距离参数，[x]₊表示正值函数，即 x > 0时，[x]₊ = x；当 x ≤ 0 时，[x]₊ = 0 。算法模型比较简单，梯度更新只需计算距离 d(h+r, t) 和 d(h’+r, t’).

　　模型训练完成后，可得到实体和关系的向量表示，进一步可做关系抽取和知识推理的任务。下面是算法伪代码：

三. word2vec + transE 模型

　  在我们的模型中，主要利用的是百科词条抽取的 infobox 信息，构成三元组信息 (h, r, t)，例如 (百度，董事长，李彦宏)，假设信息是事实，一个基本想法就是在训练 word2vec 过程中，加入这些三元组信息，使得关联的 h 和 t 某种程度上更接近，也可以说是一种正则化约束，例如三元组信息是类别信息，即词语属于哪个领域的信息。

　　为了与 word2vec 模型融合，利用 transE 思想，重新定义 (h+r, t)的目标函数为概率函数（其实就是 softmax）：

　　

　　其中 是包含 w_i 的所有关系，|V| 是字典的大小。  是由 wi 和 r 的向量线性相加所得，即 ， 表示词 t 对应的参数。

　　这样一来，我们就可以构建基于 word2vec 和 transE 的模型目标函数，如下：

　　

　　其中，式子左边是基于 CBOW 的 word2vec 模型，右边是关系词向量模型，γ 是平衡两个模型贡献比率的参数，|C|是整个语料库的大小。训练的时候同样采用Negative Sampling 的方法近似计算 softmax。 我们来看下关系词向量模型（右半部分）的求解过程：

　　　　　　　　　　　　　　　　　　　　　　(1)

　　在 Negative Sampling 中，三元组同样被分为正样本和负样本，根据Local Closed World假设，不在知识库中的三元组视为负样本，即 (w_i, r, t) 成立的时候，对应的 t 为正样本，而其他词语都为负样本，举个例子(百度，董事长，李彦宏)是正样本，(百度，董事长，马云)是负样本。对于给定的一个词 w_i 和对应的一个关系 r，训练的目标似然函数如下：

 　　　　(2)

　　是不是有点眼熟？细心朋友可以发现，这和 word2vec 模型的目标似然函数是相似的，将（2）式代入（1）上述关系词向量模型最终的目标似然函数就是

 　　

　　根据 word2vec 的梯度推导，我们可以得到参数的梯度更新如下：

　　

　　关系词向量模型的实体 w_i 和关系 r 梯度更新如下：

　　 ， 

　　

　　模型伪代码如下，与 word2vec_transE 源码(github) 相对应关系如下： 对应  ， 对应  ，  对应  ， 对应  ， 对应， 对应 

实验过程及结果

　　实验过程，训练语料源于百度百科摘要数据，高频关系三元组 (h, r, t) 168403条，关系 r 有 1650 种，训练时间 2h （比 word2vec 原始代码训练要耗时是正常的），利用训练后的词向量做分类任务，效果比原始 word2vec 训练词向量高 2%，可见加入外部数据库信息一定程度上能提升词向量的表达能力。

一些问题

　　（1）语料脏！百度百科数据太脏了，词条排版属性格式不一，信息前期预处理麻烦。

　　（2）模型实际上是增加约束，依然没法解决一词多义问题

　　（3）这里加入的信息只是 infobox 抽取的三元组，信息利用率不高，可进一步利用百科链接，分类等信息。

项目地址：github 　　

参考

[1]. Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. (2013). Efficient Estimation of Word Representations in Vector Space. In Proceedings of Workshop at ICLR.

[2]. Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. In Proceedings of NIPS.

[3]. peghoty的博客：word2vec中的数学原理详解

[4]. 张柏韩：基于知识库的词向量研究与应用