中文词频统计

1. 下载一中文长篇小说，并转换成UTF-8编码。
2. 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。
3. 排除一些无意义词、合并同一词。

# _*_coding:utf-8_*_
import jieba
# 实例：词频统计
# 打开文件
fr = open('tridebody.txt','r',encoding= 'utf-8')
str = fr.read()
fr.close()
# 排除元数的集合
words = jieba.cut(str)
words = list(words)
print('{0:-^50}'.format('分词解析成功！'))
# 定义一个空字典
di = {}
# 用循环，写入字典
exc = {'“','”','。','，','！','？','‘','’','：','：','……','的','地','得','你','我','他','啊','哦','嗯','呼','也','尔','吾'}
disc = set(words)
disc = disc -exc
print('分词统计中。。。。')
for i in disc:
    di[i] = words.count(i)
wc = list(di.items())
# print(wc)
wc.sort(key = lambda x:x[1],reverse=True)
# print(wc)
print('{0:-^50}'.format('词频统计结果前10'))
for i in range(len(disc)):
    print('{0} = {1}'.format(wc[i][0],wc[i][1]))