• 【Python】 压缩文件处理 zipfile & tarfile


    【zipfile】

    虽然叫zipfile,但是除了zip之外,rar,war,jar这些压缩(或者打包)文件格式也都可以处理。

      zipfile模块常用的一些操作和方法:

        is_zipfile(filename)  测试filename的文件,看它是否是个有效的zipfile

        ZipFile(filename[,mode[,compression[,allowZip64]]])  构造zipfile文件对象。mode可选r,w,a代表不同的打开文件的方式。compression指出这个zipfile用什么压缩方法,默认是ZIP_STORED,另一种选择是ZIP_DEFLATED。allowZip64是个bool型变量,当设置为True的时候就是说可以用来创建大小大于2G的zip文件,默认值是True

        ZipInfo  包含一个zip文件中的子文件的信息,字段包括filename(包括相对zip包的路径),date_time(一个时间元组,该子文件最后修改时间),compress_type(该子文件的压缩格式)等等。

      对于ZipFile实例z,有以下方法:

        z.close()  关闭文件

        z.extract(name[,path[,pwd]])  从zip中提取一个文件,将它放到指定的path下,pwd是密码,用于被加密的zip文件

        z.extractall(path[,pwd])  将所有文件按照namelist中显示得那样的目录结构从当前zip中提取出来并放到path下。//这两个extract的path若不存在都会自动创建出来的,且这个path必须是个目录,解压时一定是把一个文件,包含其相对zip包路径的所有目录一起解压出来。总之有点坑,自己测试一下就知道了

        z.namelist()  返回一个列表,内容是zip文件中所有子文件的path(相对于zip文件包而言的)。相当于是一个保存了zip内部目录结构的列表

        z.infolist()  返回一个列表,内容是每个zip文件中子文件的ZipInfo对象,这个对象有上文中提到的那些字段

        z.printdir()  将zip文件的目录结构打印到stdout上,包括每个文件的path,修改时间和大小

        z.open(name[,mode[,pwd]])  获取一个子文件的文件对象,可以将其用来read,readline,write等等操作

        z.setpassword(psw)  可以为zip文件设置默认密码

        z.testzip()  读取zip中的所有文件,验证他们的CRC校验和。返回第一个损坏文件的名称,如果所有文件都是完整的就返回None

        z.write(filename[,arcname[,compression_type]])  将zip外的文件filename写入到名为arcname的子文件中(当然arcname也是带有相对zip包的路径的),compression_type指定了压缩格式,也是ZIP_STORED或ZIP_DEFLATED。z的打开方式一定要是w或者a才能顺利写入文件。

      贴上两个已经写好的常用的解压缩和压缩函数:

      压缩一个目录:

    def zip_dir(dirname,zipfilename):
        filelist = []
        if os.path.isfile(dirname):
            filelist.append(dirname)
        else :
            for root, dirs, files in os.walk(dirname):
                for dir in dirs:
                    filelist.append(os.path.join(root,dir))
                for name in files:
                    filelist.append(os.path.join(root, name))
    
        zf = zipfile.ZipFile(zipfilename, "w", zipfile.zlib.DEFLATED)
        for tar in filelist:
            arcname = tar[len(dirname):]
            #print arcname
            zf.write(tar,arcname)
        zf.close()

    解压缩一个文件:

    def unzip_dir(zipfilename, unzipdirname):  
        fullzipfilename = os.path.abspath(zipfilename)  
        fullunzipdirname = os.path.abspath(unzipdirname)  
        print "Start to unzip file %s to folder %s ..." % (zipfilename, unzipdirname)  
        #Check input ...  
        if not os.path.exists(fullzipfilename):  
            print "Dir/File %s is not exist, Press any key to quit..." % fullzipfilename  
            inputStr = raw_input()  
            return  
        if not os.path.exists(fullunzipdirname):  
            os.mkdir(fullunzipdirname)  
        else:  
            if os.path.isfile(fullunzipdirname):  
                print "File %s is exist, are you sure to delet it first ? [Y/N]" % fullunzipdirname  
                while 1:  
                    inputStr = raw_input()  
                    if inputStr == "N" or inputStr == "n":  
                        return  
                    else:  
                        if inputStr == "Y" or inputStr == "y":  
                            os.remove(fullunzipdirname)  
                            print "Continue to unzip files ..."  
                            break  
                  
        #Start extract files ...  
        srcZip = zipfile.ZipFile(fullzipfilename, "r")  
        for eachfile in srcZip.namelist():
            if eachfile.endswith('/'):
                # is a directory
                print 'Unzip directory %s ...' % eachfilename
                os.makedirs(os.path.normpath(os.path.join(fullunzipdirname, eachfile)))
                continue  
            print "Unzip file %s ..." % eachfile  
            eachfilename = os.path.normpath(os.path.join(fullunzipdirname, eachfile))  
            eachdirname = os.path.dirname(eachfilename)  
            if not os.path.exists(eachdirname):  
                os.makedirs(eachdirname)  
            fd=open(eachfilename, "wb")  
            fd.write(srcZip.read(eachfile))  
            fd.close()  
        srcZip.close()  
        print "Unzip file succeed!"

    【tarfile】

    linux上常用的tar文件不被zipfile支持,应该要用tarfile模块来处理tar文件,无论tar文件是否被压缩还是仅仅被打包,都可以读取和写入tar文件。和zipfile模块类似的,tarfile有以下一些方法和类:

      is_tarfile(filename)  检查是否是个有效的tar文件

      open([name[,mode]])  和zipfile的ZipFile有所不同的是,这里的open除了指出打开文件的方式以外还指出了文件的压缩方式。通过filemode[:compression]的方式可以指出很多种文件模式:

        'r'  读打开,如果文件是压缩得会被透明(???)地解压缩。这是默认打开方式

        'r:'  读打开,不压缩文件

        'r:gz'  读打开,使用gzip压缩文件

        'r:bz2'  读打开,使用bzip2压缩文件

        'a','a:'  追加打开,不压缩文件  //注意,a模式下不能加压缩格式的。如果想要给压缩包添加什么东西的话最好另寻他路

        'w','w:'  写打开,不压缩文件

        'w:gz'  写打开,使用gzip压缩文件

        'w:bz2'  写打开只用bzip2压缩文件

      TarInfo类对象 和ZipInfo类似的,一个子文件的TarInfo对象存储了这个子文件的一些信息。TarInfo对象有一些方法和属性:

        it.gid/gname  获取这个子文件的组ID和组名称

        it.uid/uname  获取这个子文件的用户id和用户名称

        ti.isdir()  判断这个子文件是否是个目录

        ti.isfile()  判断是否是个普通文件

        ti.name  文件名

        ti.mode  权限

        ti.size  大小

        ti.mtime  最后修改时间

      由open返回的一个tarfile实例t有以下方法:

        t.add(name[,arcname,[recursive]])  将tar包外的文件或目录name添加到tar包内的arcname,当name是个目录时可把recursive设置为True来递归地加入tar包

        t.close()

        t.errorlevel  可以设置提取tar包中文件时如何确定处理错误,当这一属性为0时,错误将被忽略,为1时错误将导致IOError和OSError,如果设置为2非致命性错误将会导致TarError

        t.extract(member[,path])  从tar包中提取一个子文件,保存到指定目录下

        t.extractfile(member)  从tar包中提取一个子文件,但返回的是个类文件对象,可以通过read,write等方法来操作文件的内容

        t.getnames()  类似于zipfile中的namelist()

        t.ignore_zeros  若这一个属性被设置为True的话,读取tar包时会跳过空块,如果这已设置为False则空块表示tar包的结束。这个属性的设置有利于读取损坏的tar包

        t.list()  类似于zipfile的printdir(),但是其列出的信息更加详细,如果不要这么详细的信息,可以加上参数False

        t.getmemebers()  返回一个列表,内容是所有文件的TarInfo对象

  • 相关阅读:
    yarn & mapreduce 配置参数总结
    理解配置yarn参数&mapreduce参数
    hive on spark 编译
    sparksql与hive整合
    tachyon与hdfs,以及spark整合
    spark取得lzo压缩文件报错 java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec
    Tachyon 0.7.1伪分布式集群安装与测试
    Apache Spark 1.5.0正式发布
    zeppelin入门使用
    spark standalone模式 zeppelin安装
  • 原文地址:https://www.cnblogs.com/dancesir/p/9668967.html
Copyright © 2020-2023  润新知