• 【python】按行切分文本文件


    python脚本利用shell命令来实现文本的操作, 这些命令大大减少了我们的代码量。

    比如按行切分文件并返回切分后得到的文件列表,可以利用内建的split命令进行切分。为了返回得到的文件列表名,可以先将文件切分到自建的子目录中,然后通过

    os.listdir获取所有文件,再将这些文件移到上一级目录(即函数参数指定的新目录),删除自建子目录,最后返回该文件名列表。

    代码如下,如发现问题欢迎指正:

    # 创建新路径
    def make_dirs(path):
    	if not os.path.isdir(path):
    		os.makedirs(path)	
    
    # 获取文件的行数
    def get_total_lines(file_path):
    	if not os.path.exists(file_path):
    		return 0
    	cmd = 'wc -l %s' % file_path
    	return int(os.popen(cmd).read().split()[0])
    
    # 函数split_file_by_row: 按行切分文件
    # filepath: 切分的目标文件
    # new_filepath: 生成新文件的路径
    # row_cnt: 每个文件最多包含几行
    # suffix_type: 新文件后缀类型,如两位字母或数字
    # return: 切分后的文件列表
    def split_file_by_row(filepath, new_filepath, row_cnt, suffix_type='-d'):
    	tmp_dir = "/split_file_by_row/"
    	make_dirs(new_filepath)
    	make_dirs(new_filepath+tmp_dir)
    
    	total_rows = get_total_lines(filepath)
    	file_cnt = int(math.ceil(total_rows*1.0/row_cnt))
            command = "split -l%d -a2 %s %s %s" % (row_cnt, suffix_type, filepath, new_filepath+tmp_dir) 
            os.system(command)
    
            filelist = os.listdir(new_filepath+tmp_dir)
    	command = "mv %s/* %s"%(new_filepath+tmp_dir, new_filepath)
    	os.system(command)
    
    	command = "rm -r %s"%(new_filepath+tmp_dir)
    	os.system(command)
    
    	return [new_filepath+fn for fn in filelist]
    






  • 相关阅读:
    菜根谭#188
    菜根谭#187
    Single value range only allowed in SystemVerilog
    LUTs, Flip-Flop, Slice
    FPGA 的 RAM 的 区别
    GPU core clock, shader clock ???
    更改Mac的Terminal 格式
    GPU share memory 的应用 (主要内容转载)
    Mac text edit & pdf reader
    Programming Font
  • 原文地址:https://www.cnblogs.com/riskyer/p/3295193.html
Copyright © 2020-2023  润新知