python项目实战——西游记用字统计

项目来自于https://github.com/Honlan/fullstack-data-engineer

本文用到的xyj.txt也可以在本github修改，唯一不同的地方是作者使用是python2来进行统计，改成Python3，有几处细节还是听不一样的，但是结果是一样的，主要是汉字编码以及xrange部分，本代码主要做的事情为：

• 统计书本中出现多少个不同的汉字
• 每个汉字的出现次数以及对应频次
• 按照出现频次对汉字进行排序并且存储到txt中

步骤如下：

1. 读取xyj.txt
2. 分别准备list和dict记录出现的汉字和汉字及其频次
3. 遍历txt的每一行进行统计，去除标点符号和特殊字符
4. 将统计结果排序
5. 将结果写入csv文件（写入TXT也可以）
6. 关闭文件

代码如下：

#!/usr/bin/env python
# coding:utf8
import sys
import importlib
importlib.reload(sys)

fr = open('xyj.txt', 'r')

characters = []
stat = {}

for line in fr:
    # 去掉每一行两边的空白
    line = line.strip()
    # 如果为空行则跳过该轮循环

    if len(line) == 0:
        continue
    # 遍历该行的每一个字
    for x in range(0, len(line)):
        # 去掉标点符号和空白符
        if line[x] in [' ', '	', '
', '。', '，', '(', ')', '（', '）', '：', '□', '？', '！', '《', '》', '、', '；', '“', '”', '……']:
            continue
        # 尚未记录在characters中
        if line[x] not in characters:
            characters.append(line[x])
        # 尚未记录在stat中
        if line[x] not in stat.keys():
            stat[line[x]] = 0
        # 汉字出现次数加1
        stat[line[x]] += 1
print(len(characters))
print(len(stat))

# lambda生成一个临时函数
# d表示字典的每一对键值对，d[0]为key，d[1]为value
# reverse为True表示降序排序
stat = sorted(stat.items(), key=lambda d:d[1], reverse=True)

fw = open('result.csv', 'w')
for item in stat:
    # 进行字符串拼接之前，需要将int转为str
    fw.write(item[0] + ',' + str(item[1]) + '
')
fr.close()
fw.close()

运行结果如下：（两张图分别是写入csv的运行结果和写入TXT的运行结果）

完整内容可以去这里下载：

https://files.cnblogs.com/files/dapeng-bupt/xyj.zip