python 常用模块

介绍下python的常用模块:

目录:

1.time

2.shutil

3.zipfile & tarfile

4.json & pickle

5.xml & configparser

6.hashlib 

7.subprocess

8.logging

第一部分:time

python中关于时间的模块 time.

python中的时间分三类, 第一类:unix时间戳类型 time.time()就会将当前的时间换算程unix时间戳打印出来.第二类是结构化的时间,第三类是格式化后的时间字符串.下面分别举例字:

In [21]: import time

In [22]: time.time()   #时间戳)
Out[22]: 1497031848.168647
  
In [23]: time.strftime('%Y-%m-%d %X')       #格式化后的时间字符串
Out[23]: '2017-06-10 02:11:03'

In [26]: time.localtime()                                #格式化时间
Out[26]: time.struct_time(tm_year=2017, tm_mon=6, tm_mday=10, tm_hour=2, tm_min=11, tm_sec=42, tm_wday=5, tm_yday=161, tm_isdst=0)

time模块常用的是格式化为字符串的时间.有时也用到time.ctime() 函数

time模块中还有一个重要函数是sleep() 这个函数的作用是让当前进程休眠,sleep(seconds)函数接收一个整数,表示休眠多少秒,比如我们想让程序休眠5s,则使用time.sleep(5)来完成.

第二部分:shutil

shutil是python中高级的文件/文件夹/压缩包处理模块,它有着比os模块操作文件/目录/压缩包方面更优异的表现.下面举例字:

#复制目录树
In [30]: import shutil

In [31]: dir
Out[31]: <function dir>

In [32]: ls
getgoods.py  gouwuche.zip  readme.txt
gouwuche/    new.json

In [33]: shutil.copytree('gouwuche','gouwuche.test')

In [34]: ls
getgoods.py  gouwuche.test/  new.json
gouwuche/    gouwuche.zip    readme.txt


#拷贝文件和权限
In [35]: shutil.copy('readme.txt','readyou.txt')

In [36]: ls
getgoods.py  gouwuche.test/  new.json    readyou.txt
gouwuche/    gouwuche.zip    readme.txt

#递归的删除目录

In [37]: shutil.rmtree('gouwuche.test')

In [38]: ls
getgoods.py  gouwuche.zip  readme.txt
gouwuche/    new.json      readyou.txt

第三部分:zipfile & tarfile

(1).zipfile

      zipefile 用于 使用文件压缩算法zip 操作文件的一个模块.

       创建一个zip文件,并向其中添加文件

1 In [69]: import zipfile
2 
3 In [70]: f=zipfile.ZipFile('test.zip','a')
4 
5 In [71]: f.write('s17day01.txt')
6 
7 In [72]: f.write('username.txt')
8 
9 In [73]: f.close()

       查看zip文件内容

1 In [10]: l=zipfile.ZipFile('test.zip','r')
2 
3 In [19]: l.namelist()
4 Out[19]: ['s17day01.txt', 'username.txt']

      解压zip文件,可以从下面的结果中看到,解压成功了.

 1 In [20]: rm s17day01.txt
 2 
 3 In [21]: rm username.txt
 4 
 5 In [22]: ls
 6 test.zip
 7 
 8 In [23]: l
 9 Out[23]: <zipfile.ZipFile at 0x7f5bc457a5d0>
10 
11 In [24]: l.extractall()
12 
13 In [25]: ls
14 s17day01.txt  test.zip  username.txt

        综合联系,1.我们创建了一个加密吗的zip文件,之后我们用zipfile暴破一下zip文件.

 1 localhost:~/0615$ ll
 2 总用量 12
 3 drwxr-xr-x  3 notu notu 4096 6月   9 12:51 ./
 4 drwxr-xr-x 78 notu notu 4096 6月   9 12:43 ../
 5 drwxr-xr-x  2 notu notu 4096 6月   9 12:50 test/
 6 localhost:~/0615$ zip test.zip -e -r test/*
 7 Enter password:                                      #输入123@123
 8 Verify password:                                    #输入123@123
 9   adding: test/s17day01.txt (stored 0%)
10   adding: test/username.txt (stored 0%)

        2.接着,我们创建一个密码文件:

#password.txt 文件内容
123456
654321
dajfk
aifjei
vlcjfkd
akejfk
kejre
a
123@123
kdfjke
kjfejfio
kajfoad
kj

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import zipfile
"""根据字典文件,暴力破解zip密码"""

def extract_zip(zfile,password):
    try:
        zfile.extractall(pwd=password)
        print('password found:%s' %password)
        return password
    except:
        pass

def main():
    zfile=zipfile.ZipFile('test.zip')
    with open('password.txt','r') as f:
        for password in f:
            pw=extract_zip(zfile,password.strip().encode('utf-8'))
            if pw:
                print('Password=%s' %pw.decode('utf-8'))
                break
        else:
            print('not found')
    zfile.close()


if __name__=='__main__':
    main()

执行结果:

localhost:~/0615$ python3.5 decry.py 
password found:b'123@123'
Password=b'123@123'

(2) tarfile

我们同样使用例子来学习tarfile的日常用法.

    创建一个tar包,并且向其中添加文件.

ln[6]: import tarfile

In [7]: ls
decry.py  password.txt  test/  test.zip

In [8]: t_f=tarfile.TarFile('0615.tar','a')

In [9]: dir(t_f)

In [12]: t_f.add('test')

In [13]: t_f.add('decry.py')

In [14]: t_f.add('password.txt')

In [15]: t_f.close()

    查看tar包的内容.

import tarfile

tf=tarfile.TarFile('0615.tar')
tf.list()
tf.close()

#显示结果
/usr/bin/python3.5 /home/notu/0615/tar_t.py
?rwxr-xr-x notu/notu          0 2017-06-09 13:22:19 test/ 
?rw-r--r-- notu/notu          0 2017-06-09 13:23:54 test/username.txt 
?rw-r--r-- notu/notu          0 2017-06-09 13:23:54 test/s17day01.txt 
?rw-r--r-- notu/notu        622 2017-06-09 13:23:51 decry.py 
?rw-r--r-- notu/notu         85 2017-06-09 13:02:42 password.txt 

  解包

import tarfile

tf=tarfile.TarFile('0615.tar')
tf.extractall(path='tartest')
tf.close()


#结果
在当前目录创建了一个tartest目录,tar包的内容被添加到tartest目录中

第四部分:json & pickle

json,一种数据编码格式,常用来作为数据对象在不同编程语言间传递.之前的xml也有这个功能,但是json较xml快,且使用更加方便.下面举个例子:

#json存储变量
In [39]: d={'1':111}
In [42]: json.dumps(d)
Out[42]: '{"1": 111}'

In [43]: b=json.dumps(d)

In [44]: c=json.loads(b)

In [45]: c
Out[45]: {u'1': 111}


#json 将变量存储到文件中
In [46]: with open('a.json','w') as f:
    ...:     json.dump(b,f)
    ...:     


#json将变量从文件中取出

In [47]: with open('a.json','r') as f:
    ...:     d=json.load(f)
    ...:     

In [48]: d
Out[48]: u'{"1": 111}'

pickle常用来序列化对象,比如我们程序中使用的某个对象可以通过pickle直接存储到文件中,将来可以通过pickle直接从文件中获取,这样省去了重新生成对象的麻烦,下面举个例子:

In [50]: import pickle
#将序列化的对象存到变量中.

In [51]: d={'name':'xiaoming','age':23,'sex':'mail'}

In [52]: print(type(d))
<type 'dict'>

In [53]: h=pickle.dumps(d)

In [55]: print(type(h))
<type 'str'>

#将序列化的数据存放到文件中
In [56]: with open('test.pickle','w') as f:
    ...:     pickle.dump(h,f)
    ...:     

#从文件中取出pickle对象
In [57]: with open('test.pickle','r') as f:
    ...:     e=pickle.load(f)
    ...:     

In [58]: e
Out[58]: "(dp0
S'age'
p1
I23
sS'name'
p2
S'xiaoming'
p3
sS'sex'
p4
S'mail'
p5
s."

In [59]: print(type(e))
<type 'str'>

#将数据从pickle数据结构中还原
In [60]: pickle.loads(e)
Out[60]: {'age': 23, 'name': 'xiaoming', 'sex': 'mail'}

第五部分:xml & configparser

xml也是不同编程语言间传递数据的一种协议,和json类似.下面是一个简单的xml例子,其中它有对称的<>括起来的数据结构

<note>
<to>George</to>
<from>John</from>
<heading>Reminder</heading>
<body>Don't forget the meeting!</body>
</note>

python中可以通过 "xml.etree.ElementTree" 来操作xml文件. 下面举一个例子:

import xml.etree.ElementTree as ET
 
tree = ET.parse("xmltest.xml")
root = tree.getroot()
print(root.tag)
 
#遍历xml文档
for child in root:
    print('========>',child.tag,child.attrib,child.attrib['name'])
    for i in child:
        print(i.tag,i.attrib,i.text)
 
#只遍历year 节点
for node in root.iter('year'):
    print(node.tag,node.text)
#---------------------------------------

import xml.etree.ElementTree as ET
 
tree = ET.parse("xmltest.xml")
root = tree.getroot()
 
#修改
for node in root.iter('year'):
    new_year=int(node.text)+1
    node.text=str(new_year)
    node.set('updated','yes')
    node.set('version','1.0')
tree.write('test.xml')
 
 
#删除node
for country in root.findall('country'):
   rank = int(country.find('rank').text)
   if rank > 50:
     root.remove(country)
 
tree.write('output.xml')



#在country内添加（append）节点year2
import xml.etree.ElementTree as ET
tree = ET.parse("a.xml")
root=tree.getroot()
for country in root.findall('country'):
    for year in country.findall('year'):
        if int(year.text) > 2000:
            year2=ET.Element('year2')
            year2.text='新年'
            year2.attrib={'update':'yes'}
            country.append(year2) #往country节点下添加子节点

tree.write('a.xml.swap')

linux 或windows系统中现在还保留很多ini 格式的文件.它们的样子类似这样:

[General]
StartWithLastProfile=1

[Profile0]
Name=default
IsRelative=1
Path=5rc9bfaq.default
Default=1

我们可以通过configparser 模块解析这种ini文件内容.下面看一个例子:

>>> import configparser
>>> config=configparser.ConfigParser()
>>> config.read('test.ini')
['test.ini']

#查看所有标题:
>>> config.sections()
['General', 'Profile0']

#查看某个section中的所有键
>>> config.options('General')
['startwithlastprofile']

#显示键值对
>>> config.items('General')
[('startwithlastprofile', '1')]

#获取某个键的值
>>> config.options('Profile0')
['name', 'isrelative', 'path', 'default']
>>> config.get('Profile0','path')
'5rc9bfaq.default'

#获取整数
>>> config.getint('Profile0','default')
1

第六部分:hashlib

hashlib模块中包含了很多hash算法的函数,我们平时可以用hashlib模块计算某些文件或字符串的哈希值.

md5的例子:

In [24]: ls
getgoods.py  gouwuche/  gouwuche.zip  new.json  readme.txt

In [25]: import hashlib

In [26]: m=hashlib.md5()                   #获取md5值

In [27]: m.update('gouwuche.zip')

In [28]: m.hexdigest()
Out[28]: '61d08dc2aa2f5c4a7f1883aaebacb63b'

计算一个普通文本文件的md5值:

In [8]: ls
getgoods.py  gouwuche/  gouwuche.zip  new.json  readme.txt

In [9]: import hashlib

In [10]: m=hashlib.md5()

In [13]: with open('new.json','r') as f:
    ...:     for line in f:
    ...:         m.update(line)
    ...:         
    ...:     

In [14]: m.hexdigest()
Out[14]: '4e09be5b2afe24d13ac9afa9e70a4041'

我们使用linux系统的md5sum 计算'new.json"的值:
/zuoye$ md5sum new.json 
4e09be5b2afe24d13ac9afa9e70a4041  new.json

相同的

第七部分:subprocess

python中的subprocess模块可以执行系统的命令,且可以模拟linux系统中的管道操作.subprocess功能强大,下面从例子中学习subprocess模块

subprocess可以使用call()和Popen() 执行系统命令,两个方法的区别是call返回命令的执行的退出码,比如在linux系统中,退出码为"0"表示命令正常结束,非"0"说明,脚本执行有问题.而"Popen"默认返回的是命令的执行结果.如下:

In [1]: import subprocess

In [2]: cmd='ls -l'

In [4]: cd zuoye
/home/notu/zuoye

In [5]: res=subprocess.call(cmd,shell=True)


In [6]: res
Out[6]: 0

可以看到返回值为0,说明命令执行成功

In [1]: import subprocess

In [2]: cmd='ls /tmp'

In [3]: res=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE)

In [4]:a= res.stdout.read().split('
')

ln[5]:a
Out[14]: 
['config-err-GKVYcT',
 'fcitx-socket-:0',
 'firefox_notu',
 'hsperfdata_notu',
 'plugtmp',
 'snap.0_wifi-ap_AeEGqS',
 'ssh-N7h63RaQ4sAy',
 'systemd-private-87c00976bf554756b13ed0f5b9cc7d8c-colord.service-U5VPAo',
 'systemd-private-87c00976bf554756b13ed0f5b9cc7d8c-fwupd.service-8KDw74',
 'systemd-private-87c00976bf554756b13ed0f5b9cc7d8c-rtkit-daemon.service-wwUFsF',
 'systemd-private-87c00976bf554756b13ed0f5b9cc7d8c-systemd-resolved.service-ETg8oa',
 'systemd-private-87c00976bf554756b13ed0f5b9cc7d8c-systemd-timesyncd.service-QYCI86',
 'tmp86bep6xh',
 'unity_support_test.0',
 '']

    上面的例子中可以看到call和Poen命令的区别.

下面我们建立一个subprocess工厂:

In [15]: def multi(*args):
    ...:     for cmd in args:
    ...:         p=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE)
    ...:         out=p.stdout.read().split('
')
    ...:         print(out)
    ...:    

In [5]: for i in multi('uptime','free -m','date'):
   ...:     print(i)
   ...:     
[' 01:40:59 up  4:47,  1 user,  load average: 0.21, 0.26, 0.33', '']
['              total        used        free      shared  buff/cache   available', 'Mem:          15617        1593       11368         338        2655       13367', 'Swap:         15946           0       15946', '']
['2017xe5xb9xb4 06xe6x9cx88 10xe6x97xa5 xe6x98x9fxe6x9cx9fxe5x85xad 01:40:59 CST', '']

第八部分:logging

python中标准的记录日志的模块logger

一:如果不指定filename,则默认打印到终端
二:指定日志级别:
    指定方式:
        1:level=10
        2:level=logging.ERROR

    日志级别种类:
        CRITICAL = 50
        FATAL = CRITICAL
        ERROR = 40
        WARNING = 30
        WARN = WARNING
        INFO = 20
        DEBUG = 10
        NOTSET = 0

 下面看一个例子:

logging.basicConfig(filename='access.log',
                    format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
                    datefmt='%Y-%m-%d %H:%M:%S %p',
                    level=10)

logging.debug('debug')
logging.info('info')
logging.warning('warning')
logging.error('error')
logging.critical('critical')
logging.log(10,'log') #如果level=40,则只有logging.critical和loggin.error的日志会被打印