黏包及解决方法

!!!!!!只有TCP有粘包现象，UDP永远不会粘包

什么是黏包?

　　接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

黏包问题的产生原因:

　　    接收方 不知道对方发了多少数据
    　　而TCP 会把所有收到的数据 拼接到一起 放到系统缓存中
    　　UDP 不会黏包 因其实基于数据包发送数据
黏包问题的解决方法:

　　　发送方 先发送数据长度  接收方先接收长度  长度必须固定字节
    　　自定义报头  不仅可以传输 数据长度 还能添加任意额外信息(报头格式建议使用json 可以跨平台)

import  socket
import subprocess
import struct
server = socket.socket()
server.bind(("127.0.0.1",9090))
server.listen()

while True:
    client,addr = server.accept()
    while True:
        try:
            # 接收命令
            cmd = client.recv(1024).decode("utf-8")
            p = subprocess.Popen(cmd,shell=True,stdout=-1,stderr=-1)
            # data与err_data 都是采用的系统编码 windows是GBK
            data = p.stdout.read()
            err_data = p.stderr.read()

            print("数据长度:%s" % (len(data)   + len(err_data)))

            # 先发送长度给客户端
            length = len(data)   + len(err_data)

            len_data = struct.pack("i",length)
            # 先发送长度 在发真实数据 有可能 长度数据和真实数据黏在一起 而接收方不知道长度数据的字节数 导致黏包
            # 解决的方案就是 长度信息占的字节数固定死  整数 转成一个固定长度字节

            client.send(len_data)

            client.send(data)
            client.send(err_data)
        except ConnectionResetError:
            client.close()
            print("连接中断......")
            break

import socket
import struct

c = socket.socket()
c.connect(("127.0.0.1",9090))
while True:
    cmd = input(">>:").strip()

    c.send(cmd.encode("utf-8"))

    # 先接收长度  长度固定为4个字节
    length = c.recv(4)
    len_data = struct.unpack("i",length)[0] # 转换为整型
    print("数据长度为%s" % len_data)

    all_data = b"" # 存储已接收数据
    rcv_size = 0 # 已接收长度
    # 接收真实数据
    # 循环接收 直到 接收到的长度等于总长度
    while  rcv_size < len_data:
        data = c.recv(1024)
        rcv_size += len(data)
        all_data += data

    print("接收长度%s" % rcv_size)
    print(all_data.decode("gbk"))

struct 模块的使用

　　struct 可以将python中的数据类型转换为bytes类型

num = 1024

import struct

# 该函数 将一个python的数据转成bytes   
# 第一个参数通常是i 其能转换的数据范围是c语言的int范围
# 如果int不够 那就用q  表示long long 型(具体可参照官方文档,一般情况下i已经足够使用)
res = struct.pack("i",num)
print(res)
print(len(res))

num = 1024

import struct

res = struct.pack("i",num)
# 从字节转回整型
res2 = struct.unpack("i",res)
print(res2[0])

黏包问题高级解决方案

import socket
import subprocess
import datetime
import json
import struct

# 创建对象
soc = socket.socket()

# 绑定ip 和 端口
soc.bind(('127.0.0.1', 8888))

# 监听
soc.listen()

while True:
    client, addr = soc.accept()
    while True:
        try:
            # 接收命令
            cmd = client.recv(1024).decode('utf-8')
            p = subprocess.Popen(
                                cmd,
                                shell=True,
                                stdout=subprocess.PIPE,
                                stderr=subprocess.PIPE
            )
            # data 与err_data 都是采用系统编码 Windows 采用'GBK'
            data = p.stdout.read()
            err_data = p.stderr.read()

            # 计算真实数据长度
            length = len(data) + len(err_data)

            t = {}
            t['time'] = str(datetime.datetime.now())
            t['size'] = length

            # 得到json格式字符串
            t_json = json.dumps(t)
            # 将json转换为字节
            t_data = t_json.encode('utf-8')
            t_length = struct.pack('i', len(t_data))

            # 发送额外信息长度
            client.send(t_length)
            # 发送额外信息
            client.send(t_data)

            # 发送真实数据
            client.send(data)
            client.send(err_data)

        except ConnectionRefusedError:
            client.close()
            print('链接中断')
            break

import socket
import struct
import json

client = socket.socket()

client.connect(('127.0.0.1', 8888))

while True:
    cmd = input('>>>:').strip().encode('utf-8')
    if not cmd:
        print('cmd命令不能为空')
        continue
    client.send(cmd)

    # 接受额外信息长度
    length = client.recv(4)
    len_data = struct.unpack("i", length)[0]
    #接受额外信息
    t_json = client.recv(len_data)
    json_dic = json.loads(t_json.decode('utf-8'))
    print('执行时间为%s'%json_dic['time'])
    data_size = json_dic['size']

    #接收真实数据
    all_data = b''
    rcv_size = 0

    while rcv_size < data_size:
        data = client.recv(1024)
        rcv_size += len(data)
        all_data += data

    print('接收长度为%s' % rcv_size)
    print(all_data.decode('gbk'))