1.textCNN
优势:短文本分类
可参照:https://www.cnblogs.com/AntonioSu/p/11969386.html
2.fast Text
优点:训练速度快
3.HAN(Hierarchical Attention Network)
优点:对文档的分类
双向的LSTM,可以获得丰富的词汇表示
attention阶段:词在句子中的重要程度
4.TextRNN
以双向lstm编码句子,获得句子的信息表征,将前向最后时刻和后向最后时刻拼接,乘以Fc之后,对tensor做softmax,得到类别。
5.RCNN(Recurrent Convolutional Neural Network for Text Classification)
优势:RNN捕捉上下文信息,而max-pooling选取最重要的信息给分类。
模型数据流:每一个单词的embedding方式主要有3个部分concat组成:[left context ;word embedding;righ context],紧接着max-pooling,最后FC之后,softmax分类。
6.Transformer
可参考:https://www.cnblogs.com/AntonioSu/p/12019534.html
7.BERT
可参考:https://www.cnblogs.com/AntonioSu/p/12326426.html