该文档为用python3实现ftp上传下载等功能。
1 import optparse 2 import socket 3 import json,os 4 import shelve 5 6 class FtpClient(object): 7 """ftp客户端""" 8 MSG_SIZE = 1024 # 消息最长1024 9 10 def __init__(self): 11 self.username = None 12 self.terminal_display = None 13 self.shelve_obj = shelve.open(".luffy_db") 14 self.current_dir = None 15 16 parser = optparse.OptionParser()#创建parser这个对象，optparse这个模块是个类 17 parser.add_option("-s","--server", dest="server", help="ftp server ip_addr") 18 parser.add_option("-P","--port",type="int", dest="port", help="ftp server port") 19 parser.add_option("-u","--username", dest="username", help="username info") 20 parser.add_option("-p","--password", dest="password", help="password info") 21 self.options , self.args = parser.parse_args() 22 23 #print(self.options,self.args,type(self.options),self.options.server) 24 self.argv_verification()#调用检查参数合法性函数 25 26 self.make_connection()#调用建立socket连接函数
上面这段首先创建一个类。该客户端代码均在这个类中实现。
定义一个接收值的变量，然后定义初始化函数，定义几个静态属性，这几个属性有些是后面函数需要的，所以提前定义。
之后用OptionParser这个函数生成一个命令行声明。这个函数具体相关可以从网络中查到。
再之后调用两个函数，一个是检查参数合法性的，另一个是建立socket连接。
1 def argv_verification(self): 2 """检查参数合法性""" 3 if not self.options.server or not self.options.port: 4 #如果options的server参数或port参数不为真则exit()关闭并打印括号内内容。 5 exit("Error: must supply server and port parameters") 6 7 8 def make_connection(self): 9 """建立socket链接""" 10 self.sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM) 11 self.sock.connect((self.options.server,self.options.port)) 12 13 def get_response(self):#接收返回值 14 """获取服务器端返回""" 15 data = self.sock.recv(self.MSG_SIZE)#接收1024个 16 return json.loads(data.decode())#返回decode之后内容
上面代码为三个函数，分别是检查合法性、创建连接、接收返回值。
1 def auth(self): 2 """用户认证""" 3 count = 0 4 while count < 3:#输入最多3次 5 username = input("username:").strip() 6 if not username:continue#如果输入不为真则继续 7 password = input("password:").strip() 8 9 cmd = { 10 'action_type':'auth',#action_type定义功能关键词，将关键词传入值 11 'username':username,#用户名 12 'password':password,#密码 13 } 14 #定义一个字典，该字典将为以后客户端与服务端通讯作为模板。 15 self.sock.send(json.dumps(cmd).encode("utf-8"))#将字典序列化然后encode，发送 16 response = self.get_response()#调用get_response函数，并赋值。该函数获取服务器端返回内容，并反序列化 17 print("response:",response)#打印得到的内容 18 if response.get('status_code') == 200:#pass auth#如果得到的内容是状态码200 19 self.username = username 20 # 定义一个数据属性，将__init__里的None赋值掉，为了以后调用方便 21 self.terminal_display = "[%s]>>:" % self.username#将用户名赋值给显示 22 self.current_dir = "\"#设置当前目录路径，将init函数重写 23 return True 24 else: 25 print(response.get("status_msg"))#如果验证不成功打印状态码 26 count += 1
auth函数主要负责登录认证功能。注释写的蛮详细了，我就不赘述了。
1 def unfinished_file_check(self): 2 """检查shelve db ，把为正常传完的文件列表打印，按用户的指令决定是否重传""" 3 if list(self.shelve_obj.keys()):#如果shelve列表为真 4 print("-------Unfinished file list -------------") 5 for index,abs_file in enumerate(self.shelve_obj.keys()): 6 #enumerate函数将一个可迭代的容器列出它的索引 7 received_file_size = os.path.getsize(self.shelve_obj[abs_file][1]) 8 #接收到的大小=getsize大小 9 print("%s. %s %s %s %s" %(index,abs_file, 10 self.shelve_obj[abs_file][0], 11 received_file_size, 12 received_file_size/self.shelve_obj[abs_file][0]*100 13 )) 14 15 while True: 16 choice = input("[select file index to re-download]").strip() 17 if not choice:continue 18 if choice == 'back':break 19 if choice.isdigit(): 20 choice = int(choice) 21 if choice >= 0 and choice <= index: 22 selected_file = list(self.shelve_obj.keys())[choice] 23 already_received_size = os.path.getsize(self.shelve_obj[selected_file][1]) 24 25 print("tell server to resend file ", selected_file) 26 #abs_filename + size +received_size 27 self.send_msg('re_get', file_size=self.shelve_obj[selected_file][0], 28 received_size=already_received_size, 29 abs_filename=selected_file) 30 31 response = self.get_response() 32 if response.get('status_code') == 401:#"File exist ,ready to re-send !", 33 local_filename = self.shelve_obj[selected_file][1] 34 35 36 37 f = open(local_filename,'ab') 38 total_size = self.shelve_obj[selected_file][0] 39 recv_size = already_received_size 40 current_percent = int(recv_size /total_size *100) 41 progress_generator = self.progress_bar(total_size,current_percent,current_percent) 42 progress_generator.__next__() 43 while recv_size < total_size: 44 if total_size - recv_size < 8192: # last recv 45 data = self.sock.recv(total_size - recv_size) 46 else: 47 data = self.sock.recv(8192) 48 recv_size += len(data) 49 f.write(data) 50 progress_generator.send(recv_size) 51 #progress_generator.send(received_size) 52 #print(recv_size,total_size) 53 else: 54 print("file re-get done") 55 else: 56 print(response.get("status_msg"))
该函数为断点续传功能，改天写注释。该函数大量使用shelve。
1 def interactive(self): 2 """处理与Ftpserver的所有交互""" 3 if self.auth(): 4 self.unfinished_file_check() 5 6 while True: 7 user_input = input(self.terminal_display).strip()#输入的时候显示名字后来变成路径 8 if not user_input:continue 9 10 cmd_list = user_input.split()#登录之后,将输入的内容转化成列表 11 if hasattr(self,"_%s"%cmd_list[0]):#判断输入的内容列表索引0 这个类里是否有这个方法 12 func = getattr(self,"_%s"%cmd_list[0])#获取这个方法。 13 func(cmd_list[1:])#执行这个函数，将input后面所有的内容作为列表传进去 14 #get fil1 --md5
interactive函数负责与服务端的交互。首先调用登陆验证，然后就是下载未完成文件的检查，之后是负责交互。
1 def parameter_check(self,args,min_args=None,max_args=None,exact_args=None): 2 """参数个数合法性检查 3 # args这个传进来的参数是一个列表，min_args默认值看函数的定义。 4 下面的判断如果符合一条则报错，没有符合的则正常。""" 5 if min_args: 6 if len(args) < min_args: 7 print("must provide at least %s parameters but %s received." %(min_args,len(args))) 8 return False 9 if max_args: 10 if len(args) > max_args: 11 print("need at most %s parameters but %s received." %(max_args,len(args))) 12 return False 13 14 if exact_args: 15 if len(args) != exact_args: 16 print("need exactly %s parameters but %s received." % (exact_args, len(args))) 17 return False 18 19 return True
parameter_check是参数的合法性检查，检查输入内容命令+参数后面的参数格式。
def send_msg(self,action_type,**kwargs ):#action_type传进来的是get，**是文件名 """打包消息并发送到远程""" msg_data = { 'action_type': action_type, 'fill':'' } msg_data.update(kwargs)#将文件名这个字典作为key传到字典里,update本质是两个字典合并成一个字典。 bytes_msg = json.dumps(msg_data).encode()#将字典序列化，目的是为了将字典转化为字符串，好算长度 if self.MSG_SIZE > len(bytes_msg):#如果1024>这个序列化后的字典 msg_data['fill'] = msg_data['fill'].zfill( self.MSG_SIZE - len(bytes_msg)) bytes_msg = json.dumps(msg_data).encode()#将调整大小后的字典序列化 self.sock.send(bytes_msg)#发送
send_msg负责具体向服务端发送消息的工作。
1 def _ls(self,cmd_args): 2 """ 3 display current dir's file list 4 :param cmd_args: 5 :return: 6 """ 7 self.send_msg(action_type='ls')#发送消息，将ls命令通过字典发出去 8 response = self.get_response() #1024#收消息 9 print('ls recv',response)#打印 10 if response.get('status_code') == 302:#取出收到的字典中的状态码，判断是否为302 11 cmd_result_size = response.get('cmd_result_size')#收到信息获取返回值长度 12 print(cmd_result_size)#打印长度看一下 13 received_size = 0#定义一个初始值 14 cmd_result = b''#定义一个初始值 15 while received_size < cmd_result_size:#当收入大小小于实际大小 16 if cmd_result_size - received_size < 8192:#last receive#实际大小-收入大小小于8192 17 data = self.sock.recv( cmd_result_size - received_size)#继续收入上面这个差值 18 else: 19 data = self.sock.recv(8192)#入过差值大过8192 那么索性直接收8192 20 cmd_result += data#收入的文件+=recv的内容 21 received_size += len(data)#收入的长度+=recv的长度 22 else: 23 print(cmd_result.decode("gbk"))#当收入大小不小于实际大小，那么直接打印
_ls函数是负责ls命令的功能，调用send_msg发送命令并调用get_response接收返回值，期间解决了粘包的问题。
1 def _cd(self,cmd_args): 2 """change to target dir""" 3 if self.parameter_check(cmd_args, exact_args=1):#参数合法性校验 4 target_dir = cmd_args[0] #赋值 5 self.send_msg('cd',target_dir=target_dir) #发送消息 6 response = self.get_response()#接收消息 7 print(response)#打印 8 if response.get("status_code") == 350:#dir changed 9 self.terminal_display = "[/%s]" % response.get('current_dir')#修改输入端显示 10 self.current_dir = response.get('current_dir')#将current_dir赋值
_cd函数负责cd命令的处理。
1 def _get(self,cmd_args): 2 """download file from ftp server 3 1.拿到文件名 4 2.发送到远程 5 3.等待服务器返回消息 6 3.1 如果文件存在， 拿到文件大小 7 3.1.1 循环接收 8 3.2 文件如果不存在 9 print status_msg 10 11 """ 12 if self.parameter_check(cmd_args,min_args=1): 13 # cmd_args这个传进来的参数是一个列表，min_args默认是1，执行判断参数合法性函数，将列表传进去 14 filename = cmd_args[0]#将参数0赋值为文件名 15 self.send_msg(action_type='get',filename=filename)#运行发送函数，将action为get等内容字典传值。 16 response = self.get_response()#接收返回值 17 if response.get('status_code') == 301:# file exist ,ready to receive 18 file_size = response.get('file_size')#取返回值里的文件大小 19 received_size = 0#先定义为0 20 21 progress_generator = self.progress_bar(file_size) 22 progress_generator.__next__() 23 24 #save to shelve db 25 file_abs_path = os.path.join(self.current_dir,filename) 26 self.shelve_obj[file_abs_path] = [file_size,"%s.download" %filename] 27 28 f = open("%s.download" %filename,"wb")#打开一个空文件 29 while received_size < file_size:#如果收到的大小小于文件大小 30 if file_size - received_size < 8192:#last recv如果文件大小-收到的大小之后小于8192 31 data = self.sock.recv( file_size - received_size )#继续接收文件大小没有收到的数量值 32 else: 33 data = self.sock.recv(8192)#如果大于8192则直接接收8192 34 received_size += len(data)#没接收一次数据，将数据大小增加 35 f.write(data) 36 progress_generator.send(received_size)#打印文件大小和接收大小 37 38 #print(received_size,file_size) 39 else: 40 print(' ') 41 print("---file [%s] recv done,received size [%s]----"%( filename,file_size)) 42 del self.shelve_obj[file_abs_path] 43 f.close()#如果接收到的大小不小于文件大小，等于文件大小，那就传完了 44 os.rename("%s.download"%filename,filename) 45 46 else: 47 print(response.get('status_msg'))#打印状态码，文件不存在
_get函数负责下载相关，同样需处理粘包工作。
1 def progress_bar(self,total_size,current_percent=0,last_percent=0): 2 3 # current_percent = 0 4 # last_percent = 0 5 #received_size = 0 6 while True: 7 received_size = yield current_percent 8 current_percent = int(received_size / total_size *100) 9 10 if current_percent > last_percent: 11 print("#" * int(current_percent / 2) + "{percent}%".format(percent=current_percent), end=' ', 12 flush=True) 13 last_percent = current_percent # 把本次循环的percent赋值给last
progress_bar。进度条功能。
1 def _put(self,cmd_args): 2 """上传本地文件到服务器 3 1. 确保本地文件存在 4 2. 拿到文件名+大小，放到消息头里发给远程 5 3. 打开文件，发送内容 6 """ 7 if self.parameter_check(cmd_args, exact_args=1):#参数合法性检查 8 local_file = cmd_args[0]#取文件名 9 if os.path.isfile(local_file):#判断文件存在 10 total_size = os.path.getsize(local_file)#取文件大小 11 self.send_msg('put',file_size=total_size,filename=local_file)#发送 12 f = open(local_file,'rb') 13 uploaded_size = 0 14 #last_percent = 0 15 16 progress_generator = self.progress_bar(total_size)#进度条 17 progress_generator.__next__()#next一下 18 for line in f: 19 self.sock.send(line) 20 uploaded_size += len(line) 21 # current_percent = int(uploaded_size / total_size * 100) 22 # if current_percent > last_percent: 23 # print("#"* int(current_percent/2) + "{percent}%".format(percent=current_percent),end=' ',flush=True) 24 # last_percent = current_percent #把本次循环的percent赋值给last 25 progress_generator.send(uploaded_size) 26 27 else: 28 print(' ') 29 print('file upload done'.center(50,'-')) 30 f.close()
上传功能的函数。
1 if __name__ == "__main__": 2 client = FtpClient() 3 client.interactive() #交互
执行该py文件需使用cmd，格式为 filename.py -s IP -P port执行。