• 文本聚类


    文本聚类就是要在一堆文档中,找出哪些文档具有较高的相似性,然后可以针对这些相似文档的聚合进行类别划分。本文聚类应用场景:提供大规模文档集进行类别划分并提取公共内容的概括和总览;找到潜在的各个文档间的相似度进行相似度判别、类别修正,以减少浏览相似文档和信息的时间和精力。

    通常,聚类分析是针对数值型做计算的,K均值这类基于聚类的算法要求只有数值型变量才能得到距离相似度。对于文本聚类而言,由于不同文本集出现的全部都是文字内容,因此无法直接针对这些文本进行聚类。

    实现文本聚类,除了要进行必要的文本数据清洗和预处理外,还有两个前置条件:

    • 分词。分词是实现聚类条件的第一个必要步骤,分词之后会得到不同文本集已经分割好的单词(常用的分词方法:最大匹配法、逆向最大匹配法、双向匹配法、最佳匹配法、联想-回溯法)。
    • word to vector。也称为文本转向量、词转向量,目的是将不同文本集的单词集合,转换为向量集合,然后通过向量空间模型建立向量矩阵。(常采用向量空间模型来描述文本向量,即将文档作为行,将分词后得到的单词(单词在向量空间模型里面被称为向量)作为列,而矩阵的值则是通过词频统计算法得到的值。这种空间向量模型又称文档特征矩阵。)

    完成上述两个基本步骤后,可以基于向量矩阵做文本聚类分析、情感分析、词频统计、相似词频等。

  • 相关阅读:
    程序员面试中有几大法则
    实现立方体旋转
    为什么技术与产品沟通起来总是那么痛苦
    移动互联网下半场的面试真经,让你进入 BAT 不再是梦
    Javascript+H5实现打小地鼠游戏
    Python多进程应用
    Python数据分析笔记:聚类算法之K均值
    给新手程序员的16个工作必备小妙招,省下时间去LOL吧!
    MySQL数据库开发常见问题及优化
    java中的四种引用类型
  • 原文地址:https://www.cnblogs.com/keye/p/8917197.html
Copyright © 2020-2023  润新知