最近根据老大要求，将数据进行同步备份，结合第三方提供的工具。第三方服务其实是有python demo的，本想研究下实际的python sdk搞个demo开发的，但是发现有些组建装起来确实头大，而且本公司线上的python版本也确实够低只能另想办法。
最终确定方案如下：利用第三方提供的相关管理工具（当然是Linux下的），通过python调用系统工具（本人对shell在这方面不是特别感冒，当然文本处理除外），然后将脚本输出重定向到日志文件中，方便检查文件上传成功或失败的具体情况处理。
那么就会设计到三个问题：1、上传的文件列表(由于涉及到与客户端接口key问题，还要进行处理，不能为绝对路径)；2、调用第三方提供的包，用工具进行上传；3、输出日志的分析处理
针对于第一个问题，功能函数如下：
1 import os,re 2 pathname = open('pathlist.txt','w+') 3 filename = open('filelist.txt','w+') 4 5 def find_file(arg, dirname, files): 6 for file in files: 7 file_path = os.path.join(dirname, file) 8 if os.path.isfile(file_path): 9 pathname.write('%s ' % file_path) 10 11 def key(file): 12 tmppathname = open(file,'r') 13 for line in tmppathname: 14 line_tmpA = re.split('aaa',line) #由于key的规则后端已经设置好了，那么在脚本中也要做相应的处理，通过分隔符来处理实际的需求，需要什么就给什么，通过list实现 15 line_tmpB = str(line_tmpA[1]) 16 filename.write('%s' % line_tmpB) 17 18 os.path.walk(r"/a/b/c/aaa",find_file,()) 19 20 key('filelist.txt')
到了第二部分python函数中嵌套shell命令：
1 def backup(file): 2 tmppathname = open(file,'r') 3 for key in tmpfilename: 4 localfile = '/a/b/c/aa'+key #其中key和localfile为第三方工具包需要的参数 5 os.environ['key'] = key #通过os.environ将需要传递的参数变量做赋值 6 os.environ['localfile'] = localfile 7 os.system('proxy-client --action put --bucket aaa --key $key --file $localfile') 8 9 backup('filelist.txt')
第二部分的实现还是比较简单的，到了第三部分日志环节的处理由于是初次遇见处理起来比较麻烦，通过cat log.txt 和less log.txt发现结果分别如下图：
，
cat 执行后发现进度条是动态处理的，但是less查看日志文件后发现很多特殊符号，本人在这一步的处理花了点时间（初次遇到），有考虑过用正则去匹配，可是发现最后的输出确实NoneType，也许是本人的功夫还没到家==！。一直考虑这个看起来形如^H的如何处理，查了半天发现这货竟然是个输出不显示的组合键。。。。。。还是个组合键，所以在处理的时候并不是简单的依葫芦画瓢，写上^H,而应该是Ctrl+v 然后继续Ctrl+H，这样才可以对这个特殊字符进行处理。所以第三部分的代码如下：
1 #!/usr/bin/env python 2 import re,string 3 logname = open('log_online.txt','r') 4 logtest = open('log_test.txt','w+') 5 for line in logname: 6 # print type(line) 8 # print line_a 9 line_b = line_a.split('>') 10 # print type(line_b) 11 logtest.write(line_b[-1]) #这里主要考虑到输出结果中并不一定都是上传成功的案例，所以通过分析规律发现取分隔符>最后一个元素即为上传结果。 12 logtest.close()
这是当时测试过程写的，也比较接单，关键就是思路问题。
与大家共勉！