文件与目录差异对比模块filecmp

   简介

      当我们进行代码审计或校验备份结果时，往往需要检查原始与目标目录的文件一致性，python的标准库已经自带了满足此需求的模块filecmp。filecmp可以实现文件、目录、遍历子目录的差异对比功能。比如报告中输出目标目录比原始多出的文件或子目录，即使文件同名也会判断是否为同一个文件（内容级对比）等，python2.3以上版本自带了filecmp模块，无需额外安装。

模块常用方法说明

      filecmp 提供了三个操作方法，分别为cmp（单文件对比）、cmpfiles（多文件对比）、dircmp（目录对比）

单文件对比，采用filecmp.cmp(f1,f2[,shallow])方法，比较文件名为f1和f2的文件，相同返回True，不相同返回False，shallow默认为True，意思是只根据os.stat()方法返回的文件基本信息进行对比，比如访问的时间、修改时间、状态改变时间等，会忽略文件内容的对比。当shallow为 False时，则os.stat()与文件内容同时进行校验。

>>> import filecmp
>>> filecmp.cmp("nginx.conf.v1","nginx.conf.v2")
False
>>> 

 多文件对比，采用filecmp.cmpfiles(dir1,dir2,common[,shallow])方法，对比dir1与dir2目录给定文件清单。该方法返回文件名的三个列表，分别为匹配、不匹配、错误。匹配为包含匹配的文件列表，不匹配反之，错误列表包含了目录不存在的文件、不具备读权限或其他原因导致的不能比较的文件清单。

示例：dir1和dir2目录中指定文件清单对比

两个目录文件的md5信息如下，其中f1,f2文件匹配，f3不匹配，f4，f5对应目录中不存在，无法比较

jbdeAir:difflib比对模块 ljb$ md5 dir1/*
MD5 (dir1/f1) = 81dc9bdb52d04dc20036dbd8313ed055
MD5 (dir1/f2) = 989922700777691e1336309077acf468
MD5 (dir1/f3) = 3b3e5a6cdf65514ff9de7253418b608a
MD5 (dir1/f5) = 33e28153f08dcd28a4c4292ad4c866af
ljbdeAir:difflib比对模块 ljb$ md5 dir2/*
MD5 (dir2/f1) = 81dc9bdb52d04dc20036dbd8313ed055
MD5 (dir2/f2) = 989922700777691e1336309077acf468
MD5 (dir2/f3) = 4d1a60976189c13c3a8a71baf1bde5f7
MD5 (dir2/f4) = 025ad219ece1125a8f5a0e74e32676cb

　　代码演示

import filecmp
filecmp.cmpfiles("/difflib比对模块/dir1","/difflib比对模块/dir2",['f1','f2','f3','f4','f5'])
(['f1', 'f2'], ['f3'], ['f4', 'f5'])　　

 目录比对，通过dircmp(a,b[,ignore[,hide]])创建一个目录比较对象，其中a和b是参加比较的目录名。ignore代表文件名忽略列表，并默认为['RCS','CVS','tags']；hide代表隐藏的列表，默认为[os.curdir，os.pardir]。dircmp可以获得目录比较的详细信息，如只有在a目录中包含的文件、a与b都存在的子目录、匹配的文件等，同时支持递归。

dircmp提供了三个输出报告的方法：

report()，比较当前指定目录中的内容；

report_partial_closure()，比较当前指定目录及第一级子目录中的内容；

report_full_closure(),递归比较所有指定目录的内容。

为了输出更详细的比较结果，dircpm类还提供了以下属性：

left，左目录，如类定义中的a；

right，右目录，如类定义中的b；

left_list，左目录中的文件及目录列表；

right_list，右目录中的文件及目录列表；

common，两边共同存在的文件或目录；

left_only，只在左目录中的文件或目录；

right_only，只在右目录中的文件或目录；

common_dirs，两边目录都存在的子目录；

common_files，两边目录都存在的子文件；

common_funny，两边目录都存在的子目录（不同目录类型或os.stat()记录的错误）；

same_files，匹配相同的文件；

diff_files，不匹配的文件；

funny_files，两边目录中都存在，但无法比较的文件；

subdirs，将common_dirs目录名映射到新的dircmp对象，格式为字典类型。

示例：对比dir1和dir2的目录差异

通过调用dircmp()方法实现目录功能差异对比功能，同时输出目录对比对象所有属性信息。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import filecmp

a="/home/test/filecmp/dir1" #定义左目录
b="/home/test/filecmp/dir2" #定义右目录

dirobj=filecmp.dircmp(a,b,['test.py']) #目录比较，忽略test.py文件
#输出对比结果数据报表，详细说明请参考filecmp类方法及属性信息

print "-------------------report---------------------"
dirobj.report()
print "-------------report_partial_closure-----------"
dirobj.report_partial_closure()
print "-------------report_full_closure--------------"
dirobj.report_full_closure()

print "left_list:"+ str(dirobj.left_list)
print "right_list:"+ str(dirobj.right_list)
print "common:"+ str(dirobj.common)
print "left_only:"+ str(dirobj.left_only)
print "right_only:"+ str(dirobj.right_only)
print "common_dirs:"+ str(dirobj.common_dirs)
print "common_files:"+ str(dirobj.common_files)
print "common_funny:"+ str(dirobj.common_funny)
print "same_file:"+ str(dirobj.same_files)
print "diff_files:"+ str(dirobj.diff_files)
print "funny_files:"+ str(dirobj.funny_files)　　

  文件目录树结构

实践：校验源与备份目录差异

      有时候我们无法确认备份目录与源目录文件是否保持一致，包含源目录中的新文件或目录、更新文件或目录有无成功同步，定期进行校验，没有成功则希望有针对性的进行补备份。本示例使用了filecmp的left_only、diff_files方法递归获取源目录的更新项，再通过shutil.copyfile、os.makedirs方法对更新项进行复制，最终保持一致状态

#!/usr/bin/env python
# -*- coding: utf-8 -*-


import os, sys
import filecmp
import re
import shutil

holderlist = []


def compareme(dir1, dir2):                  #递归获取更新函数
    dircomp = filecmp.dircmp(dir1, dir2)
    only_in_one = dircomp.left_only         #源目录新文件或目录
    diff_in_one = dircomp.diff_files        #不匹配文件，源目录文件已经发生变化
    dirpath = os.path.abspath(dir1)         #定义源目录的绝对路径
    #将更新文件名或目录追加到holderlist列表中
    [holderlist.append(os.path.abspath(os.path.join(dir1, x))) for x in only_in_one]
    [holderlist.append(os.path.abspath(os.path.join(dir1, x))) for x in diff_in_one]
    if len(dircomp.common_dirs) > 0:        #判断是否存在相同的子目录，以便递归
        for item in dircomp.common_dirs:    #递归子目录
            compareme(os.path.abspath(os.path.join(dir1, item)),
                      os.path.abspath(os.path.join(dir2, item)))
        return holderlist


def main():
    if len(sys.argv) > 2:       #要求输入源目录和备份目录
        dir1 = sys.argv[1]
        dir2 = sys.argv[2]
    else:
        print "Usage: ", sys.argv[0], "datadir backupdir"
        sys.exit()

    source_files = compareme(dir1, dir2)    #对比源目录与备份目录
    dir1 = os.path.abspath(dir1)

    if not dir2.endswith('/'): dir2 = dir2 + '/'       #备份目录路径加 ／ 符
    dir2 = os.path.abspath(dir2)
    destination_files = []
    createdir_bool = False

    for item in source_files:       #遍历返回的差异文件，或目录清单
        destination_dir = re.sub(dir1, dir2, item)      #将源目录差异路径清单对应替换成备份目录
        destination_files.append(destination_dir)
        if os.path.isdir(item):                         #如果差异路径为目录且不存在，则再目录中创建
            if not os.path.exists(destination_dir):
                os.makedirs(destination_dir)
                createdir_bool = True           #再次调用compareme函数标记

    if createdir_bool:              #重新调用compareme函数，重新遍历新创建目录的内容
        destination_files = []
        source_files = []
        source_files = compareme(dir1, dir2)  #调用compareme函数
        for item in source_files:           #获取源目录差异路径清单，对应替换成备份目录
            destination_dir = re.sub(dir1, dir2, item)
            destination_files.append(destination_dir)

    print "update item:"
    print source_files      #输出更新项列表清单

    copy_pair = zip(source_files, destination_files)    #将源目录与备份目录文件清单拆分成元组
    for item in copy_pair:
        if os.path.isfile(item[0]):             #判断是否为文件，是则进行复制操作
            shutil.copyfile(item[0], item[1])


if __name__ == '__main__':
    main()

　 更新源目录dir1中f4、code/f3文件后，运行程序结果

python dircmp_sample2.py  dir1 dir2

update item：

['/dir1/f4','/dir1/code/f3']

update item：

[] #再次运行已经没有更新项目了