复合数据类型，英文词频统计

作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753

1.列表，元组，字典，集合分别如何增删改查及遍历

列表：

list1 = ['gakki','masami', 1998, 1997]
list2 = [1, 2, 3, 4, 5]
list3 = ["a", "b", "c", "d"]
print ("list1[0]: ", list1[0])
print ("list2[1:5]: ", list2)
#增加
list2.append('6')
print("list2:",list2[0:100])
#删除
print ("原始列表 : ", list3)
del list3[2]
print ("删除后列表 : ", list3)
#更改
list2[2] = 2001
print ("更新后的第三个元素为 : ", list2[2])
#查找
list4=['Boyoung','gakki','masami']
a=list4.index('Boyoung')
print(a)

元组：

a = ['Gakki','ranks','first','in','the','world']
print(a[1:])  
print(a[1:-1])  
print(a[1:-1:2]) 
print(a[0::2]) 
print(a[5::-2])  
# 添加 insert() 添加到指定位置 两个参数
a.insert(2, 'the')
print("增加后的元组：",a)
# 修改
a[1] = 'win'  
print("修改一个单词后的元组：",a)
a[1:] = ['smiles','like','a','flower'] 
print("修改后的元组：",a)
# 删除
a.remove(a[0])  
print("删除后的元组：",a)
#查找
# #index 索引 获取下标
b = a.index('flower')
print(b)

字典：

dict = {"gakki":"小米", "masami":"华为"}
#增加
dict.setdefault("parkboyoung","小米")
print("增加后的字典：",dict)
#删除
del dict['parkboyoung']
print("删除后的字典：",dict)
#修改
dict['gakki'] = 1998;
dict['masami'] = "1997"
print("修改后的字典：",dict)
#查找
print(dict["gakki"])
print(dict.get("masami"))
print(dict.get("parkboyoung"),"这个键不存在")

集合：

s = {1,2,3,4}
print (s)

#增加
s.add(1)
print("增加集合内有的数：",s)
s.add(8)
print("增加集合内不存在的数：",s)
s1 ={ 5,6,7,}
s.update(s1)
print("合并集合：",s)
#删除
s.pop()
print("随机删除后：",s)
s.remove(8)
print("指定删除后：",s)
#修改
s=s|s1
print("修改后：",s)
s=s&s1
print("修改后：",s)
#查找
# 交集
print (s1 & s)
# 并集
print (s1 | s)
# 差集
print (s1 - s)
print (s - s1)
# 对等差分
print (s1 ^ s)

遍历函数，其下格式为：

function.sort()#function可以是列表、元组、字典或者集合任意一种
for i in function:
    print(i,end='>')

2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面：

（1）列表

• 列表list，用中括号“[ ]”表示
• 列表是一组任意类型的值，按照一定顺序组合而成的 
• 可以随时添加删除修改其中的元素
• 元素可重复
• 存储时每一个元素被标识一个索引，每当引用时，会将这个引用指向一个对象，所以程序只需处理对象的操作

（2）元组

• 元组tuple，用小括号“( )”表示
• 与列表相同，有序
• 一旦初始化就不能修改
• 元素可重复
• 与列表相似，元组是对象引用的数组

（3）字典

• 字典dict，用大括号“{key，value}”表示
• 字典中的项没有特定顺序，以“键”为象征 
• 因为是无序，故不能进行序列操作，但可以在远处修改，通过键映射到值
• key不能重复
• 字典存储的是对象引用，不是拷贝，和列表一样

（4）集合

• 集合set，用小括号“( )”表示
• 无序
• 可变，可以添加和删除元素
• 无重复
• 与列表相似

3.词频统计

• 1.下载一长篇小说，存成utf-8编码的文本文件 file

  2.通过文件读取字符串 str

  3.对文本进行预处理

  4.分解提取单词 list

  5.单词计数字典 set , dict

  6.按词频排序 list.sort(key=lambda),turple

  7.排除语法型词汇，代词、冠词、连词等无语义词

  • 自定义停用词表
  • 或用stops.txt

     

fo = open('1.txt', 'r', encoding='utf-8')
stra = fo.read().lower()
fo.close()
print(stra) 
sep = ',.;!'
for ch in sep:
    stra = stra.replace(ch, '')
print(stra)

strList = stra.split(' ')
print(len(strList), strList) 

strSet = set(strList)
print(len(strSet), strSet) 

strDict = {}
for world in strSet:
    strDict[world] = strList.count(world)

print(len(strDict), strDict)
wcList = list(strDict.items())
print(wcList) 
wcList.sort(key=lambda x: x[1], reverse=True)
print(wcList) 

e = {'a', 'the', 'an', 'and', 'i', 'or', 'of'}
strSet = strSet - e
print(len(strSet), strSet) 

for i in range(20):
    print(wcList[i]) 
import pandas as pd

pd.DataFrame(data=wcList).to_csv(r'E:homeworkjoker.csv', encoding='utf-8')

 8.输出TOP(20)

• 9.可视化：词云

 排序好的单词列表word保存成csv文件

import pandas as pd
pd.DataFrame(data=word).to_csv('big.csv',encoding='utf-8')

线上工具生成词云：
https://wordart.com/create