这是一些代码记录
- 这次是帮朋友恢复硬盘,扫描到的结果包含了好多个分区,通过将分区中的数据导出发现很多文件是重复的。所以想到通过python代码去重。
- 首先把所有分区的图片文件都放到一个文件夹A中,如果命名有冲突,对于win10可以选"让我决定每个文件"然后把两个对勾都打上,这样对于重复的文件win10会给加上(1)这样的后缀(所以去重是把文件名比较长的移除)。通过下面的去重代码就能轻易移除掉重复的文件。
- 因为朋友的硬盘上放了很多新的图片,所以通过第二个代码把A文件夹中存在于硬盘中的文件移除。
- 然后,写完第二个代码之后想到了更好的思路以及进度条的实现,所以又写了一个验证的代码。
去重
通过获取md5去重,保留文件名比较短的版本(主要是去除命名中最后的(1)这样的标记) 为了保险起见 只是把重复的文件移动走了 而不是删除,代码出现错误也不至于有什么损失。强烈建议这么做
import os
import hashlib
import shutil
hash_dict = {}
def get_md5(file_name):
with open(file_name, "rb") as f:
r = f.read()
m = hashlib.md5()
m.update(r)
return m.hexdigest()
A_file_list = os.listdir("A")
t_num = len(A_file_list)
print ("总文件数: " + str(t_num));
cnt = 0
for file in A_file_list:
md5_str = get_md5('A/'+file)
if md5_str in hash_dict: # 重复文件
print (f"重复: {hash_dict[md5_str]} | {file}");
if len(file) < len(hash_dict[md5_str]):
shutil.move('A/' + hash_dict[md5_str], 'B/' + hash_dict[md5_str])
# os.remove('A/' + hash_dict[md5_str])
hash_dict[md5_str] = file
else:
shutil.move('A/' + file, 'B/' + file)
# os.remove('A/' + file)
else:
hash_dict[md5_str] = file
cnt += 1
print (f"{str(cnt)}/{str(t_num)}")
print ("done.")
递归查找文件比对筛选
通过上一步去重,下面的代码先对A文件夹中的文件都取md5,然后遍历F盘的文件,并且计算md5,如果有相同的,那么移动到B文件夹。
import os
import hashlib
import shutil
hash_dict = {}
f_file_cnt = 0
def get_md5(file_name):
with open(file_name, "rb") as f:
r = f.read()
m = hashlib.md5()
m.update(r)
return m.hexdigest()
def fun(path):
global f_file_cnt
try:
os.chdir(path)
except:
return
file_list = os.listdir()
for file in file_list:
if os.path.isdir(file):
fun(file)
elif os.path.isfile(file):
if os.path.getsize(file) > 73056832:
continue
md5_str = get_md5(file)
# with open("D://F.md5", 'a') as f:
# f.write(md5_str+"\n")
if md5_str in hash_dict:
try:
shutil.move("D://恢复/A/"+hash_dict[md5_str], "D://恢复/B/"+hash_dict[md5_str])
print ("D://恢复/A/"+hash_dict[md5_str])
except Exception as e:
print(e)
f_file_cnt += 1
if (f_file_cnt % 50) == 0:
print(f"{(f_file_cnt/25524)*100}% - {md5_str}")
os.chdir("..")
A_file_list = os.listdir("A")
t_num = len(A_file_list)
print ("总文件数: " + str(t_num));
cnt = 0
#读取A文件夹的md5 与F盘现有文件对比 结果作为依据删除掉A文件夹的文件
print("载入A文件夹md5")
for file in A_file_list:
md5_str = get_md5('A/'+file)
hash_dict[md5_str] = file
cnt += 1
if (cnt % 50) == 0:
print (f"{(cnt/t_num)*100}%")
print("A文件夹md5读取完毕\n开始遍历F盘")
fun("F:/")
print (f_file_cnt)
print ("done.")
最终检查
通过修改上面代码(参考注释的代码),可以先遍历一遍F盘的文件,得到文件的md5列表,然后再和A文件夹里面的文件按照下面的代码比对,能节省很多时间。原因是因为移动硬盘速度太慢了,我要是早点这么干,早就筛选出必要的文件了。。。
import os
import hashlib
import shutil
from tqdm import tqdm
f_hash_list = []
def get_md5(file_name):
with open(file_name, "rb") as f:
r = f.read()
m = hashlib.md5()
m.update(r)
return m.hexdigest()
with open("D://F.md5") as f:
f_hash_list = f.readlines()
file_list = os.listdir("B")
pbar = tqdm(total=len(file_list))
for file in file_list:
md5_str = get_md5("B/"+file)
if md5_str+"\n" in f_hash_list:
try:
shutil.move("B/"+file, "C/"+file)
except Exception as e:
print (e)
pbar.update(1)
pbar.close()
print("done.")
这里也用到了tqdm库来实现进度条的效果,感觉效果很好,只是这样的话,就不能随意输出东西了。否则会出现多个进度条,这个目前我不知道怎么解决问题,但是考虑到控制台输出东西会严重拖慢程序的运行速度,不输出也没什么关系。