word2vec 是 Google 于 2013 年推出的一个用于获取词向量的开源工具包。我们在项目中多次使用到它,但囿于时间关系,一直没仔细探究其背后的原理。
网络上 《word2vec 中的数学原理详解》 有一系列的博文,对这个问题已经做了很好的阐述。作者十分用心,从最基础的预备知识、背景知识讲起,这样读者就不用到处找相关资料了。
这里,我就把其博文链接直接搬运过来:
(四)基于 Hierarchical Softmax 的模型
这个系列博文里的一些数学推导来自下面这篇文章,
word2vec Parameter Learning Explained
这篇文章的作者还提供了一个非常直观的可视化工具,可以直观地看到每一步的训练到底发生了什么
wevi: word embedding visual inspector
原版的 word2vec 项目链接在此
https://code.google.com/archive/p/word2vec/
【原文链接】http://www.ipaomi.com/2017/09/22/word2vec-数学原理/