文本数据分词，词频统计，可视化 Python

词频、分词和可视化结合爬虫，做一些作业。

• 爬虫库requests
• 词频统计库collections
• 数据处理库numpy
• 结巴分词库jieba
• 可视化库pyecharts等等。

数据的话直接从网上抠一些东西，这里抠一篇新闻。要导入的库，一次性导入：

import collections
import re
import jieba
import requests
import parsel
from pyecharts.charts import Bar
from pyecharts.globals import ThemeType
import pyecharts.options as opts
from stylecloud import stylecloud
from wordcloud import WordCloud
from PIL import Image
from matplotlib import pyplot as plt
import numpy as np

第一部分，提取网页内容并写入到文档。

def get_text():
    url = 'http://cpc.people.com.cn/n1/2022/0110/c164113-32327931.html'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
    }

    response = requests.get(url=url, headers=headers)
    response.raise_for_status()
    response.encoding = response.apparent_encoding
    print(response.text)
    selector = parsel.Selector(response.text)
    textResults = selector.xpath('//div[@class="show_text"]/p/text()').getall()
    # 这种方式没有获取到粗体
    with open('test.txt', mode='w+', encoding='utf-8') as f:
        for item in textResults:
            f.write(item + '\n') #

第二部分，词频统计，用collections，以便做统计词频的条形图的时候使用。

def words_counts():
    with open('test.txt', mode='r', encoding='utf-8') as f:
        strData = f.read()

    # 替换符合parrtern的文本
    pattern = re.compile(r'\t|,|/|。|\n|\.|-|:|;|\)|\(|\?|，。，！”"')
    strData = re.sub(pattern, '', strData)  # 将符合模式的字符去除

    # 开始分词，精准模式
    words = jieba.cut(strData, cut_all=False)
    resultWords = [] # 空列表
    # 自定义停用词
    stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'为', u'是',
                    '以' u'随着', u'对于', u'对', u'等', u'能', u'都', u'。',
                    u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
                    u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
                    u'着', u'说', u'上', u'这', u'那', u'有', u'也',
                    u'什么', u'·', u'将', u'没有', u'到', u'不', u'去']
    #
    for word in words:
        if word not in stopWords:
            resultWords.append(word)
    # print(resultWords) #  打印结果

    # 开始统计词频
    word_counts = collections.Counter(resultWords) # 一个词频统计对象
    # print(word_counts)

    # 获取高频词的列表
    word_counts_all = word_counts.most_common() # 一个列表，列表里是元组
    # print(word_counts_all)
    word_counts_top10 = word_counts.most_common(10)
    return word_counts_top10

第三部分，利用stylecloud和wordcloud制作词。

首先是stylecloud：

def gen_style_words():
    with open('test.txt', mode='r', encoding='utf-8') as f:
        word_list = jieba.cut(f.read())
        print(word_list)
        result_words = ' '.join(word_list)
        print(result_words)
    # 制作词云
    # 停用词
    stopWords = [u'的', u'要', u'“', u'”', u'和', u'，', u'为', u'是',
                 '以' u'随着', u'对于', u'对', u'等', u'能', u'都', u'。',
                 u' ', u'、', u'中', u'在', u'了', u'通常', u'如果', u'我',
                 u'她', u'（', u'）', u'他', u'你', u'？', u'—', u'就',
                 u'着', u'说', u'上', u'这', u'那', u'有', u'也',
                 u'什么', u'·', u'将', u'没有', u'到', u'不', u'去']
    stylecloud.gen_stylecloud(
        text=result_words,
        size=1280,  # stylecloud的大小，长度和宽度,
        font_path='C:\\Windows\\Fonts\\simhei.ttf',  # 字体路径
        max_words=150,  # stylecloud中能容的最多词数
        max_font_size=200,  # 最大字号
        # invert_mask=, # 蒙版
        custom_stopwords=stopWords,  # 停用词
        output_name='1.png',  # 输出的名字
    )

结果展示：

其次是worldcloud：

def word_cloud_style():
    """
    另外一种生成词云的方法
    """
    # f = open('../Spiders/content.txt', 'r', encoding='utf-8')  # 这是数据源，也是想生成词云的数据
    # txt = f.read()  # 读取文件
    # print(type(txt))
    # print('=========================================')
    # f.close()  # 关闭文件，其实可以用withopen
    with open('test.txt', mode='r', encoding='utf-8') as f:
        txt = f.read()
    # 如果是文章的话，需要用到jieba分词，分完之后也可以自己处理下再生成词云
    newTxt = re.sub("A-Z0-9-a-z\!\%\[\]\,\。", "", txt)
    # print(newTxt)

    words = jieba.lcut(newTxt)
    print(words)
    img = Image.open(r'wc.jpg')  # 想要做的形状
    img_array = np.array(img)

    # 相关配置，里面这个collections可以避免重复
    wordcloud = WordCloud(
        background_color='white',
        width=1080,
        height=960,
        # font_path = "../文悦新青年.otf",
        font_path='C:/Windows/Fonts/simhei.ttf',
        max_words=150,
        scale=10,  # 清晰度
        max_font_size=100,
        mask=img_array,
        collocations=False).generate(newTxt)

    plt.imshow(wordcloud)
    plt.axis('off')
    plt.show()
    wordcloud.to_file('wc.png')

结果展示：

第四部分，词频统计条形图。

def echart_top_10():
    data = words_counts()
    lab = [i[0] for i in data]
    num = [i[1] for i in data]
    # print(lab, num)

    bar = (
        Bar(init_opts=opts.InitOpts(width='1000px', height='700px', theme=ThemeType.LIGHT))
        .add_xaxis(xaxis_data=lab)
        .add_yaxis(
            series_name='',
            y_axis=num,
            label_opts=opts.LabelOpts(is_show=True, color='red'),
            bar_max_width='100px',
        )
        .set_global_opts(
            title_opts=opts.TitleOpts(
                title='高词频前10',
                title_textstyle_opts=opts.TextStyleOpts(font_size=28,)
            ),
            legend_opts=opts.LegendOpts(
                pos_top='10%',
                pos_left='10%',
            ),
            xaxis_opts=opts.AxisOpts(
                axislabel_opts=opts.LabelOpts(rotate=45), # 倾斜45度
            ),
            toolbox_opts=opts.ToolboxOpts(),
            tooltip_opts=opts.TooltipOpts(
                is_show=True,
                trigger='axis',# 触发类型，(axis表示坐标轴触发，鼠标移动上去的时候会有一条垂直于x轴的实线跟随鼠标移动，并且提示信息)
                axis_pointer_type='cross',# 指示器类型，(Cross表示生成两条分别垂直于x轴和y轴的虚线，不启用trigger才会显示完全)
            ),
        )
    ).render('top10.html')

词频统计条形图，调用了工具栏，可以通过右上角的工具栏切换为线图。