• Fasttext


     

    1、fasttext是facebook开源的一个词向量与文本分类工具,在学术上没有太多创新点,好处是模型简单,训练速度非常快。简单尝试可以发现,做出来的结果也不错,可以达到上线使用的标准。

    2、简单说来,fastText做的事情,就是把文档中所有词通过lookup table变成向量(word2vec),取平均后直接用线性分类器得到分类结果。fastText和deep averaging network(DAN,如下图)比较相似,是一个简化的版本,去掉了中间的隐层。论文指出了对一些简单的分类任务,没有必要使用太复杂的网络结构就可以取得差不多的结果。

    DAN的结构:

     

    fastText的结构:

     

    fastText论文中提到了两个tricks

    1)hierarchical softmax

    类别数较多时,通过构建一个霍夫曼编码树来加速softmax layer的计算,和之前word2vec中的trick相同

    2)N-gram features

    只用unigram的话会丢掉word order信息,所以通过加入N-gram features进行补充用hashing来减少N-gram的存储

  • 相关阅读:
    vscode安装设置go
    Go开发环境搭建
    使用Docker镜像
    Docker for mac安装
    封装request.get_params批量取值
    Python之日志处理(logging模块)
    Python3 urllib.parse 常用函数示例
    前端之CSS属性相关
    前端之CSS选择器
    前端之CSS介绍
  • 原文地址:https://www.cnblogs.com/yongfuxue/p/10119016.html
Copyright © 2020-2023  润新知