Pandas读取csv文件某一列并保存到txt文件中
按道理来说挺简单的,但是却查了好久,本来想利用pandas的api获取某一列的数据,然后写入到文件中,但是写入到文件后出现各种问题,要不程序报错,要不不分行。最后还是按照之前的那样,获取的之后一个个的添加到之前创建好的list中。
def save_csv_to_text(filename, csv_name, usecols):
'''
读取csv的文件,将指定列转换存到txt文件中,usecols=0 摘要,usecols=1 文章
'''
data = pd.read_csv(os.path.join(DATA_ROOT, csv_name), usecols=[usecols])
data_list = data.values.tolist()
result = []
for item in data_list:
result.append(item[0])
print("start process {}".format(filename))
start_time = time.time()
with open(filename, 'w', encoding='utf-8') as f:
for item in tqdm(result):
f.write(item + '
')
f.close()
print("cost time {}".format(time.time() - start_time))
print('save {} done!'.format(filename))
print("---------------------")
在这里tqdm如果想使用的话,导包的时候需要这样导入:
from tqdm import tqdm