python中网络编程中的黏包现象

黏包中的关键因素 : 缓冲区

缓冲区 :  将程序和网络解耦

缓冲区大致有输入缓冲区 和 输出缓冲区两种形式,这也是产生黏包的因素.大致的缓冲情况 如下图所示:

每个 socket 被创建后，都会分配两个缓冲区，输入缓冲区和输出缓冲区。

write()/send() 并不立即向网络中传输数据，而是先将数据写入缓冲区中，再由TCP协议将数据从缓冲区发送到目标机器。一旦将数据写入到缓冲区，函数就可以成功返回，不管它们有没有到达目标机器，也不管它们何时被发送到网络，这些都是TCP协议负责的事情。

TCP协议独立于 write()/send() 函数，数据有可能刚被写入缓冲区就发送到网络，也可能在缓冲区中不断积压，多次写入的数据被一次性发送到网络，这取决于当时的网络情况、当前线程是否空闲等诸多因素，不由程序员控制。

read()/recv() 函数也是如此，也从输入缓冲区中读取数据，而不是直接从网络中读取。

这些I/O缓冲区特性可整理如下：

1.I/O缓冲区在每个TCP套接字中单独存在；
2.I/O缓冲区在创建套接字时自动生成；
3.即使关闭套接字也会继续传送输出缓冲区中遗留的数据；
4.关闭套接字将丢失输入缓冲区中的数据。

输入输出缓冲区的默认大小一般都是 8K，可以通过 getsockopt() 函数获取：

1.unsigned optVal;
2.int optLen = sizeof(int);
3.getsockopt(servSock, SOL_SOCKET, SO_SNDBUF,(char*)&optVal, &optLen);
4.printf("Buffer length: %d
", optVal);

  两种黏包现象:
  1.连续的小包可能会被优化算法给组合到一起进行发送
  2.第一次如果发送的数据大小2000B接收端一次性接受大小为1024,这就导致剩下的内容会被下一次recv接收到,导致结果错乱
  具体情况如图所示:

  模拟黏包现象

#黏包现象服务端:
import socket
import subprocess
server = socket.socket()
ip_port = ('127.0.0.1',8001)

server.bind(ip_port)

server.listen()

conn,addr = server.accept()

while 1:
    from_client_cmd = conn.recv(1024)

    print(from_client_cmd.decode('utf-8'))

    sub_obj = subprocess.Popen(
        from_client_cmd.decode('utf-8'),
        shell=True,  #固定
        stdout=subprocess.PIPE,  #标准输出 PIPE:管道,保存着指令单额执行结果
        stderr=subprocess.PIPE   #标准错误输出
    )

    std_msg = sub_obj.stdout.read()
    print('指令的执行结果长度>>>>',len(std_msg))

    conn.send(std_msg)

#黏包客户端:
import socket

client = socket.socket()
client.connect(('127.0.0.1',8001))

while 1:
    cmd = input('请输入指令:')

    client.send(cmd.encode('utf-8'))

    server_cmd_result = client.recv(1024)

    print(server_cmd_result.decode('gbk'))

黏包解决方案
  黏包解决大致思路:问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，
                如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端发一个确认消息给发送端，
                然后发送端再发送过来后面的真实内容，接收端再来一个死循环接收完所有数据。

# 黏包解决服务端:
import socket
import subprocess
import struct
server = socket.socket()
ip_port = ('127.0.0.1',8001)

server.bind(ip_port)

server.listen()

conn,addr = server.accept()

while 1:
    from_client_cmd = conn.recv(1024)

    print(from_client_cmd.decode('utf-8'))
    #接收到客户端发送来的系统指令,服务端通过subprocess模块到服务端自己的系统里面执行这条指令
    sub_obj = subprocess.Popen(
        from_client_cmd.decode('utf-8'),
        shell=True,
        stdout=subprocess.PIPE,  #正确结果的存放位置
        stderr=subprocess.PIPE   #错误结果的存放位置
    )
    #从管道里面拿出结果,通过subprocess.Popen的实例化对象.stdout.read()方法来获取管道中的结果
    std_msg = sub_obj.stdout.read()

    #为了解决黏包现象,我们统计了一下消息的长度,先将消息的长度发送给客户端,客户端通过这个长度来接收后面我们要发送的真实数据
    std_msg_len = len(std_msg)

    print('指令的执行结果长度>>>>',len(std_msg))

    msg_lenint_struct = struct.pack('i',std_msg_len)

    conn.send(msg_lenint_struct+std_msg)

#黏包解决方案客户端:
import socket
import struct
client = socket.socket()
client.connect(('127.0.0.1',8001))

while 1:
    cmd = input('请输入指令:')
    #发送指令
    client.send(cmd.encode('utf-8'))

    #接收数据长度,首先接收4个字节长度的数据,因为这个4个字节是长度
    server_res_len = client.recv(4)
    msg_len = struct.unpack('i',server_res_len)[0]

    print('来自服务端的消息长度',msg_len)
    #通过解包出来的长度,来接收后面的真实数据
    server_cmd_result = client.recv(msg_len)

    print(server_cmd_result.decode('gbk'))

 今天的分享就到此暂告一个段落,有兴趣的小伙伴多多交流,有错误不足之处请提出见解,一起学习纠错