Python 常用模块

 os

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
os.curdir  返回当前目录: ('.')
os.pardir  获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.mknod("test.txt")        创建空文件
os.rename("oldname","newname")  重命名文件/目录
os.sep    输出操作系统特定的路径分隔符，win下为"\",Linux下为"/"
os.linesep    输出当前平台使用的行终止符，win下为"	
",Linux下为"
"
os.pathsep    输出用于分割文件路径的字符串
os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command")  运行shell命令，直接显示
os.environ  获取系统环境变量
os.path.abspath(path)  返回path规范化的绝对路径
os.path.split(path)  将path分割成目录和文件名二元组返回
os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)  返回path最后的文件名。如何path以／或结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间
os.path.getsize(path)  返回文件大小
os.path.normcase('/DasdASD/asdasdA/')   跨平台转换路径，转换大写为小写
os.path.normcase(os.path.join(os.path.dirname(os.path.abspath(__file__)),os.path.pardir))
os.get_terminal_size()  获取终端大小
os.chmod('jjj',0700)  权限
os.chown('jjj',UID,GID)  属主属组
os.stat('path/filename')  获取文件/目录信息
f = open('aaa.log')
f2 = open('bbb.log', 'w')
　shutil.copyfileobj(f, f2, length=3*1024)  # 将文件内容拷贝到另一个文件
shutil.copyfile('aaa.log', 'bbb.log')　　# 同上
shutil.copymode('aa', 'bb')  # 拷贝权限，内容、用户、组不变
shutil.copytree(src, dst, ignore=shutil.ignore_patterns('atm'))  #　递归复制目录
shutil.rmtree('asd')  # 删除目录
shutil.make_archive("压缩包名", "zip", "要压缩的目录")  # 压缩文件

time

t = time.localtime(time.time()-86400)  # 返回本地时间
print(t.tm_year, t.tm_mon)
# 时间戳
time.time()

# 格式化前一天时间
t = time.localtime(time.time()-86400) 
time.strftime('%Y/%m/%d %H:%M:%S %W', t)

# 日期字符串转换成时间对象
time_str = '2019-11-12 11:11:11'
f = time.strptime(time_str, '%Y-%m-%d %H:%M:%S')
print(f)
# time.struct_time(tm_year=2019, tm_mon=11, tm_mday=12, tm_hour=11, tm_min=11, tm_sec=11, tm_wday=1, tm_yday=316, tm_isdst=-1)

# 将时间对象转换成时间戳
print(time.mktime(f))
# 将时间戳转为字符串格式
print(time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())))

datetime

import datetime
print(datetime.datetime.now()) #返回 2016-08-19 12:47:03.941925
print(datetime.date.fromtimestamp(time.time()) )  # 时间戳直接转成日期格式 2016-08-19
print(datetime.datetime.now() )
print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分
datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") 时间对象与字符串互转
datetime.datetime.fromtimestamp(141456567)  时间对象与时间戳互转
time.mktime(datetime.datetime.now().timetuple())  转换成秒

random 随机数

import random
print ('小于1的随机浮点数:', random.random())
print ('指定范围内的随机浮点数:', random.uniform(20,30))
print ('指定范围内的随机整数:', random.randint(1,2))
print ('按指定步长集合中获取一个随机数', random.randrange(1,10,3))  # 步长
print (random.randrange(1,10))  # 不包含10
print('获取指定长度的序列: ', random.sample([1,2,3,4,5],3))  # 返回随机列表

zip

接收多个序列作为参数，返回一个元组列表

x = [1, 2, 3]
y = [4, 5, 6,444]
z = [7, 8, 9]
xyz = zip(x, y, z)
list(xyz) # [(1, 4, 7), (2, 5, 8), (3, 6, 9)]
x = [1, 2, 3]
r = zip(* [x] * 3)
list(r) # [(1, 1, 1), (2, 2, 2), (3, 3, 3)]

string 字符串处理

import string
print('小写字母: ',string.ascii_lowercase)
print('大写字母: ', string.ascii_uppercase)
print('大写和小写字母: ', string.ascii_letters)
print('数字: ', string.digits)
print('所有符号: ', string.printable)

序列化 json与pickle

• JSON是文本形式的存储，Pickle则是二进制形式（至少常用二进制）
  
• JSON是人可读的，Pickle不可读
  
• JSON广泛应用于除Python外的其他领域，Pickle是Python独有的。
  
• JSON只能dump一些python的内置对象，Pickle可以存储几乎所有对象。
  

在我看来，如果偏向应用特别是web应用方面，可以常用JSON格式。如果偏向算法方面，尤其是机器学习，则应该使用cPickle，pylearn2库中保存model就是使用这项技术的

有如下对象

data = {
    'id': 1234,
    'credit': 15000,
    'balance': 8000,
    'create_date': '2015-04-04'
}

pickle

 

dumps and loads

t = pickle.dumps(data)  # data type is obj
t2 = pickle.loads(t)  # t type is str
print('t: ', type(t),t)
print('t2: ', type(t),t2)
返回：
t:  <class 'bytes'> b'x80x03}qx00(Xx06x00x00x00creditqx01Mx98:Xx07x00x00x00balanceqx02M@x1fXx0bx00x00x00create_dateqx03X
x00x00x002015-04-04qx04Xx02x00x00x00idqx05Mxd2x04u.'
t2:  <class 'bytes'> {'credit': 15000, 'balance': 8000, 'create_date': '2015-04-04', 'id': 1234}

dump and load

with open('test', 'wb') as f:
    pickle.dump(data, f)
# pickle对象（字符串）-->python对象  从文件读取
with open('test', 'rb') as f:
    ret = pickle.load(f)
    print('pickle.load: ', ret)

json

json只支持 str int float set dict list tuple

 dumps and loads

json_dumps = json.dumps(data)  # 对象-->字符串
json_loads = json.loads(json_dumps)  # 字符串-->对象
print('json_dumps ', type(json_dumps),json_dumps)
print('json_loads ', type(json_loads),json_loads)
返回：
json_dumps  <class 'str'> {"create_date": "2015-04-04", "balance": 8000, "credit": 15000, "id": 1234}
json_loads  <class 'dict'> {'balance': 8000, 'credit': 15000, 'create_date': '2015-04-04', 'id': 1234}

dump and load

# 对象-->字符串,保存到文件
with open('test', 'w') as f:
    json.dump(data, f)
# 从文件中读取，字符串-->对象，
with open('test', 'r') as f:
    ret = json.load(f)
    print(ret)  # return：{'credit': 15000, 'id': 1234, 'create_date': '2015-04-04', 'balance': 8000}

 

PyYAML

import yaml
# 反序列化， 从文件中读取数据， 转成字典对象，
data_dic = yaml.load(open("salt",encoding="utf-8"))
print(type(data_dic))
# 序列化， 字段对象转成字符串
data_bytes = yaml.dump(data_dic,
            default_flow_style=False,  # 风格之类的,以最简单的方式显示就行了
            indent=4,
            encoding='utf-8',   # 设置编码
            allow_unicode=True   # 不是转化成unnicode形式
            )
with open("rrr","wt", encoding="utf-8") as f:
    f.write(str(data_bytes, encoding="utf-8"))

 

haslib

import hashlib
m = hashlib.md5()
m.update(b"Hello")
m.update(b"It's me")
print(m.digest())

m.update(b"It's been a long time since last time we ...")
print(m.digest()) #2进制格式hash
print(len(m.hexdigest())) #16进制格式hash

m = hashlib.md5()
m.update(bytes('asd',encoding='utf-8'))
print(m.hexdigest())

 

struct 数据打包解包

d=40
struct.pack('i',b)  # 打包
b'(x00x00x00'
s = struct.pack('i',b)
struct.unpack('i',s)  # 解包
(40,)

 

base64

import base64  
import StringIO  
a = "this is a test"
b = base64.encodestring(a) # 对字符串编码  
print b  
print base64.decodestring(b) # 对字符串解码  
c = StringIO.StringIO()  
c.write(a)  
d = StringIO.StringIO()  
e = StringIO.StringIO()  
c.seek(0)  
base64.encode(c, d) # 对StringIO内的数据进行编码  
print d.getvalue()  
d.seek(0)  
base64.decode(d, e) # 对StringIO内的数据进行解码  
print e.getvalue()  
a = "this is a +test"
b = base64.urlsafe_b64encode(a) # 进行url的字符串编码  
print b  
print base64.urlsafe_b64decode(b) 
上面的encode函数和decode函数的参数也可以是文件对象：
f1 = open('aaa.txt', 'r')  
f2 = open('bbb.txt', 'w')  
base64.encode(f1, f2)  
f1.close()  
f2.close() 

 

sched

定时任务

import time, os, sched
schedule = sched.scheduler(time.time, time.sleep)
#schedule.enter(延迟, 优先级, 回调函数, (参数1, 参数2))
def perform_command(cmd, inc):
    # 安排inc秒后再次运行自己，即周期运行
    schedule.enter(inc, 0, perform_command, (cmd, inc))  
    os.system(cmd)
def timming_exe(cmd, inc=60):
    # enter用来安排某事件的发生时间，从现在起第 10 秒开始启动
    schedule.enter(10, 0, perform_command, (cmd, inc))
    # 持续运行，直到计划时间队列变成空为止
    schedule.run()
print("show time after 10 seconds:")
timming_exe("echo %time%", 2)