最原始的是NNLM,然后对其改进,有了后面的层次softmax和skip gram
层次softmax:去掉了隐藏层,后面加了huffuman树,concat的映射层也变成了sum
skip gram是和层次softmax反过来的,是用中间某个词,预测左右上下文
word2vec是一个无监督算法,fasttext是一个有监督的算法
最原始的是NNLM,然后对其改进,有了后面的层次softmax和skip gram
层次softmax:去掉了隐藏层,后面加了huffuman树,concat的映射层也变成了sum
skip gram是和层次softmax反过来的,是用中间某个词,预测左右上下文
word2vec是一个无监督算法,fasttext是一个有监督的算法