【python】-- Socket粘包问题 ,解决粘包的几种方法、socket文件下载，md5值检验

上一篇随笔：“socket 接收大数据”，在win系统上能够运行，并且解决了大数据量的数据传输出现的问题，但是运行在linux系统上就会出现如下图所示的情况：

就是服务端两次发送给客户端的数据（第一次发送是时准备发送数据的字节大小，第二次是数据内容）粘在一起了，这是socket中的粘包：

查看服务端代码就能知道发生粘包的原因：

import socket,os

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(500)
        if not data:
            print("客户端已经断开")
            break
        print("执行指令：",data.decode())
        cmd_res = os.popen(data.decode()).read()
        print("发送文件大小", len(cmd_res))
        print("send before")
        if len(cmd_res) == 0:
            cmd_res = "cmd has no output......"
        #合成下面两次手动send,将数据大小和数据内容合一次发送给客户端，所以导致数据粘在一起了
        conn.send(str(len(cmd_res)).encode())
        conn.send(cmd_res.encode())
        print("send done")
server.close()　　

解决大数据传输过程中的粘包：

1、sleep

sleep一下这个样子就可以使缓冲区超时，就不在等下一次的了，这样就可以和下一条命令隔离开（不过这样会降低代码性能，不建议使用）

import socket,os

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(500)
        if not data:
            print("客户端已经断开")
            break
        print("执行指令：",data.decode())
        cmd_res = os.popen(data.decode()).read()
        print("发送文件大小", len(cmd_res))
        print("send before")
        if len(cmd_res) == 0:
            cmd_res = "cmd has no output......"
        conn.send(str(len(cmd_res)).encode())
        #在两次发送之间sleep一下
        sleep(0.5)
        conn.send(cmd_res.encode())
        print("send done")
server.close()　　    

2、客户端、服务端之间插入交互解决粘包问题

在服务端来一个等待客户端确认，就ok了，这个确认不需要用户输入，而是客户端自动的给你来这个响应，就是说，客户端自动的写好代码，自动的给服务器一个响应，只要收到服务端的数据大小，我就立刻给服务器一个响应，就是在第一次send和第二次send之前插入一个交互，就能把数据分开了

服务端：

import socket,os

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(500)
        if not data:
            print("客户端已经断开")
            break
        print("执行指令：",data.decode())
        cmd_res = os.popen(data.decode()).read()
        print("发送文件大小", len(cmd_res))
        print("send before")
        if len(cmd_res) == 0:
            cmd_res = "cmd has no output......"
        conn.send(str(len(cmd_res)).encode())  # 数据大小 
        #等待客户端确认
        client_acknowledge = server.recv(1024)
        conn.send(cmd_res.encode())  # 数据内容
        print("send done")
server.close()

客户端：

import socket

client = socket.socket()

client.connect(("localhost", 2222))

while True:
        cmd = input(">>:").strip()
        if len(cmd) == 0:continue
        client.send(cmd.encode("utf-8"))
        cmd_res_size = client.recv(500)
        # 发个响应给服务端,告诉服务端，客户端已经准备好了
        print("即将接收数据大小:", cmd_res_size.decode())
        client.send("客户端准备好接收数据内容了".encode())
        recevied_size = 0
        recevied_data = b""
        while recevied_size < int(cmd_res_size.decode()):
            cmd_res = client.recv(500)
            recevied_size += len(cmd_res)
            recevied_data += cmd_res
        else:
            print(recevied_data.decode())
            print("cmd res receive done ....", recevied_size)
client.close()

　

socket 文件下载

1、简单FTP：

上传下载是FTP最基本的功能，现在来模拟一下FTP的文件下载功能

服务端：

获取命令和文件名->判断文件是否存在->打开文件->获取文件大小->发送文件大小给客户端->等待客户端确认->边读边发

import socket,os

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(1024)
        if not data:
            print("客户端已经断开")
            break
        cmd, file_name = data.decode().split()  # 接收客户端发过来的命令和文件名
        print("执行指令:%s, 文件名:%s" % (cmd, file_name))
        if os.path.isfile(file_name):  
            with open(file_name, "rb") as f:
                file_size = os.stat(file_name).st_size  # 获取一个文件的大小：os.stat(文件名).st_size
                conn.send(str(file_size).encode())
                conn.recv(1024)  # 等待客户端确认，防止发生粘包
                for line in f:
                    conn.send(line)
        print("send done")
server.close()

客户端：

 判断是否是下载命令(get) ->发送下载命令和文件名 ->获取文件大小->发送确认信息->判断时候已经全部接收

import socket

client = socket.socket()

client.connect(("localhost", 2222))

while True:
        cmd = input(">>:").strip()
        if len(cmd) == 0:continue
        print(cmd)
        if cmd.startswith("get"):
            client.send(cmd.encode("utf-8"))  # 发送下载命令和文件名
            cmd_res_size = client.recv(1024)  # 接收文件大小
            print("即将接收数据大小:", cmd_res_size.decode())
            client.send("客户端准备好接收数据内容了".encode())
            recevied_size = 0
            recevied_data = b""
            file_name = cmd.split()[1]  # 文件名
            with open(file_name + "_new", "wb",) as f:
                while recevied_size < int(cmd_res_size.decode()):
                    cmd_res = client.recv(500)
                    recevied_size += len(cmd_res)
                    f.write(cmd_res)
                else:
                    print(recevied_data.decode())
                    print("cmd res receive done ....", recevied_size)
client.close()

　　

2、MD5值校验： 

上面代码实现了FTP文件的下载的功能，可是就一定能够保证客户端下载的文件跟服务端发送的文件一致？为了解决这个问题可以用到MD5值进行校验，从而判断客户端和服务端的一致性！ 

 服务端：

import socket, os, hashlib

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(1024)
        if not data:
            print("客户端已经断开")
            break
        cmd, file_name = data.decode().split()  # 接收客户端发过来的命令和文件名
        print("执行指令:%s, 文件名:%s" % (cmd, file_name))
        if os.path.isfile(file_name):
            m = hashlib.md5()  # 生成MD5对象
            with open(file_name, "rb") as f:
                file_size = os.stat(file_name).st_size  # 获取一个文件的大小：os.stat(文件名).st_size
                conn.send(str(file_size).encode())
                conn.recv(1024)  # 等待客户端确认，防止发生粘包
                for line in f:
                    m.update(line)  # 不断更新计算MD5值
                    conn.send(line)
                print("md5值", m.hexdigest())
            conn.recv(1024)  # 等待客户端确认，防止发生粘包,准备发送MD5值
            conn.send(m.hexdigest().encode())  # 发送MD5值给客户端
        print("send done")
server.close()

 客户端：

import socket, hashlib

client = socket.socket()

client.connect(("localhost", 2222))

while True:
        cmd = input(">>:").strip()
        if len(cmd) == 0:continue
        print(cmd)
        if cmd.startswith("get"):
            client.send(cmd.encode("utf-8"))  # 发送下载命令和文件名
            file_size = client.recv(1024)  # 接收文件大小
            print("即将接收数据大小:", file_size.decode())
            client.send("客户端准备好接收数据内容了".encode())
            revived_size = 0
            file_name = cmd.split()[1]  # 文件名
            m = hashlib.md5()  # 生成MD5对象
            with open(file_name + "_new", "wb",) as f:
                while revived_size < int(file_size.decode()):
                    cmd_res = client.recv(500)
                    revived_size += len(cmd_res)
                    m.update(cmd_res)  # 不断更新计算接收数据的文件值
                    f.write(cmd_res)
                else:
                    print(file_size, revived_size)
                    client_md5_value = m.hexdigest()  # 生成接收数据的MD5值16进制形式
                    client.send("ready to revived file md5 value".encode())
                    server_md5_value = client.recv(1024)  # 接收服务端的MD5值
                    print("client接收文件MD5值：%s,server发送文件的MD5值:%s" % (client_md5_value,server_md5_value))
                    if client_md5_value == server_md5_value.decode():  # 客户端和服务端的MD5值做比较
                        print("file revived done")
                    else:
                        print(client_md5_value, server_md5_value.decode())
client.close()

3、解决粘包方式改进：

上面的代码用MD5来校验还是用的之前解决粘包的方法，就是客户端发送一个请求，等待服务端的确认的这样的方式。下面用另外一种方法：就是客户端已经知道可接收多少数据了，既然客户端已经知道接收多少数据了，那么客户端在接收数据的时候，正好接收已经知道的数据，多余的数据就不接收了，就是说我循环接收了已知数据大小的文件。比如：服务端要发6100字节的数据，客户端正好收到6000字节的数据，然后就不往下再收了（因为在接收，就有可能跟MD5值黏在一块了，如果客户端正好接收6000字节的话，剩下的100字节就不收了，客户端把6000字节的文件保存后，再来revived一下，下面revived的正好是100字节，这100字节就是MD5值）

 服务端：

import socket, os, hashlib

server = socket.socket()
server.bind(('localhost',2222))

server.listen()

while True:
    conn,addr = server.accept()
    print("一个新的连接：",addr)
    while True:
        print("等待新指令")
        data = conn.recv(1024)
        if not data:
            print("客户端已经断开")
            break
        cmd, file_name = data.decode().split()  # 接收客户端发过来的命令和文件名
        print("执行指令:%s, 文件名:%s" % (cmd, file_name))
        if os.path.isfile(file_name):
            m = hashlib.md5()  # 生成MD5对象
            with open(file_name, "rb") as f:
                file_size = os.stat(file_name).st_size  # 获取一个文件的大小：os.stat(文件名).st_size
                conn.send(str(file_size).encode())  # 发送文件大小
                conn.recv(1024)  # 等待客户端确认，防止发生粘包
                for line in f:
                    m.update(line)  # 不断更新计算MD5值
                    conn.send(line)
                print("md5值", m.hexdigest())
            conn.send(m.hexdigest().encode())  # 发送MD5值给客户端
        print("send done")
server.close()

客户端：

import socket, hashlib

client = socket.socket()

client.connect(("localhost", 2222))

while True:
        cmd = input(">>:").strip()
        if len(cmd) == 0:continue
        print(cmd)
        if cmd.startswith("get"):
            client.send(cmd.encode("utf-8"))  # 发送下载命令和文件名
            file_size = client.recv(1024)  # 接收文件大小
            print("即将接收数据大小:", file_size.decode())
            client.send("客户端准备好接收数据内容了".encode())
            revived_size = 0
            file_name = cmd.split()[1]  # 文件名
            m = hashlib.md5()  # 生成MD5对象
            with open(file_name + "_new", "wb",) as f:
                while revived_size < int(file_size.decode()):
                    if int(file_size.decode()) - revived_size > 1024:  # 只要剩余文件字节大于1024字节，就默认最大值接收
                        size = 1024
                    else:
                        size = int(file_size.decode()) - revived_size   # 最后一次，剩多少收多少
                        print("last receive:", size)
                    file_data = client.recv(size)
                    revived_size += len(file_data)
                    m.update(file_data)  # 不断更新计算接收数据的文件值
                    f.write(file_data)
                else:
                    print(file_size, revived_size)
                    client_md5_value = m.hexdigest()  # 生成接收数据的MD5值16进制形式
                server_md5_value = client.recv(1024)  # 接收服务端的MD5值
                print("client接收文件MD5值：%s,server发送文件的MD5值:%s" % (client_md5_value, server_md5_value))

client.close()