什么是Word2vec?为什么要有这么一个东西?
word2vec是 word embedding 的方式之一, 属于NLP领域。他是将词转化为「可计算」「结构化」的向量的过程。
Word2vec的两种训练方式
CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model),是Word2vec 的两种训练模式。
CBOW
通过上下文(Context)来预测当前值,相当于一句话里抠掉一个词,让你来猜这个词是什么意思(类似小学填空题)。
eg:我 _____ 大便,(“我”和“大便”都是输入(input),_____为我们预测要输出的内容(output))
Skip-gram
用当前词来预测上下文。相当于给你一个词(input word),让你猜前面和后面可能出现什么词。(大概感觉就是和CBOW反过来)
eg:___ 拉 _____
类似的数学模型: