各种Python简单功能代码

一、统计txt中英文单词出现的次数

import string　　　　　　　　　　　　　　　　　　#处理文本时，需要去除跟在单词后的标点。所以用到string模块

filename=open('sampleFile.txt')

filelines=filename.readlines()
filename.close()

word_cnt={}

for line in filelines:
    line=line.rstrip()　　　　　　　　　　　　　　#去除文本后的'\n'
    identity=string.maketrans(' ',' ')　　　　　　#为了配合translate函数，必须有一个table来表明将字符串的某字符替换成为另一种字符。虽然本功能中无须替换，但还是写了这么个凑数的变量。不知道除translate函数外，有没有更方便的去掉特定字符的函数？

    pun_num=string.punctuation+string.digits　　　　#指定删除的字符为：标点符号和数字
    line=line.translate(identity,pun_num)　　　　　　#完成字符串中标点符号和数字的删除
    line=line.lower()　　　　　　　　　　　　　　　　　　#将单词中的字母全部转换为小写字母

    word_list=line.split(' ')　　　　　　　　　　　　　#以空格为标志，将文本中的一行断开成单词。
    for word in word_list:
        if word_cnt.has_key(word):
            word_cnt[word]+=1
        else:
            word_cnt[word]=1

result=sorted(word_cnt.iteritems(),key=lambda d:d[1],reverse=True)　　　　#将字典按值的大小进行排序
print result

?如何将字典按值进行排序呢？

• dict.iteritems(): an interator over the (key, value) items of D
• lambda x:x+1　　　　表明如果输入为x，则将其转化为x+1输出。lambda d:d[1]表示若访问（key,value)，则输出value（即d[1]，d[0]表示key)。这里的d可换作任意变量名，其作用为指代dict.iteritems()所返回的变量
• reverse=True表示按值进行从大到小的排序；reverse=False表示按值进行从小到大的排序

说明：代码的运行结果中，英文符号'被转换成了\xe2\x80\x99。不了解为什么会这样（应该与编码有关），也不清楚可以怎样解决。 

二、将序列中重复的元素去除

def unique(s):
    '''return a list without duplicate element'''
    try:
       return set(s)
    except TypeError:
        pass
    t = list(s)
    try:
        t.sort()
    except TypeError:
        del t
    else:
        return [x for i, x in enumerate(t) if not i or x != t[i-1]]
    
    u = []
    for x in s:
        if x not in u:
            u.append(x)
    return u

if __name__ == '__main__':
    s = [1, 2, 3, 5, 6, 6, 5]
    print unique(s