python-中文分词统计Xjieba库XWordCloud库

1.中软国际华南区技术总监曾老师还会来上两次课，同学们希望曾老师讲些什么内容？（认真想一想回答）

•  处理某个沟通或技术性难题时是如何应对与解决的？

2.中文分词

（1）下载一中文长篇小说，并转换成UTF-8编码。

import jieba
novel = open('百年孤独.txt','w',encoding='utf-8')#新“写”一个txt
novel.write('''


百年孤独 
 
作者：马尔克斯

    第一章

（文本略）

''')
novel.close()

print(novel)

#使用print()检查确认文本已保存至参数中。

（2）使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。

jieba库安装：

import jieba
novel = open('百年孤独.txt','w',encoding='utf-8')#新“写”一个txt
novel.write('''


百年孤独 
 
（文本略）

''')
novel.close()

print(novel)

txt = open('百年孤独.txt','r',encoding='utf-8').read()

words =list(jieba.cut(txt))#jieba库帮忙分词,且已去除标点符号
exp = {'，','
','.','。','”','“','：','…',' ','？','、','·'}
key=set(words)-exp

dic = {}#空字典

for i in key:
    dic[i]=words.count(i)

items = list(dic.items())#划分为元组

items.sort(key=lambda x:x[1],reverse=True)#排序

for i in range(20):
    print(items[i])

novel.close()

（3）排除一些无意义词、合并同一词。

import jieba


txt = open('百年孤独.txt','r',encoding='utf-8').read()

words =list(jieba.cut(txt))#jieba库帮忙分词,且已去除标点符号
exp = {'，','
','.','。','”','“','：','…',' ','？','、','·'}
key=set(words)-exp

dic = {}#空字典

for i in key:
    if len(i)>1:
        dic[i]=words.count(i)
    else:
        continue

items = list(dic.items())#划分为元组

items.sort(key=lambda x:x[1],reverse=True)#排序

for i in range(20):
    print(items[i])

novel.close()

**使用wordcloud库绘制一个词云。