11、python全栈之路-网络编程

十一、网络编程

http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label7

1、互联网协议

tcp/ip五层协议

 

1.1 物理层

物理层由来：上面提到，孤立的计算机之间要想一起玩，就必须接入internet，言外之意就是计算机之间必须完成组网

 

物理层功能：主要是基于电器特性发送高低电压(电信号)，高电压对应数字1，低电压对应数字0

1.2 数据链路层

数据链路层由来：单纯的电信号0和1没有任何意义，必须规定电信号多少位一组，每组什么意思

数据链路层的功能：定义了电信号的分组方式

以太网协议：

早期的时候各个公司都有自己的分组方式，后来形成了统一的标准，即以太网协议ethernet

ethernet规定

•一组电信号构成一个数据包，叫做‘帧’

•每一数据帧分成：报头head和数据data两部分

       head                        data                              

head包含：(固定18个字节)

•发送者／源地址，6个字节

•接收者／目标地址，6个字节

•数据类型，6个字节

data包含：(最短46字节，最长1500字节)

•数据包的具体内容

head长度＋data长度＝最短64字节，最长1518字节，超过最大限制就分片发送

mac地址：

head中包含的源和目标地址由来：ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址

mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示（前六位是厂商编号，后六位是流水线号）

 

广播：

有了mac地址，同一网络内的两台主机就可以通信了（一台主机通过arp协议获取另外一台主机的mac地址）

ethernet采用最原始的方式，广播的方式进行通信，即计算机通信基本靠吼

 

1.3 网络层

网络层由来：有了ethernet、mac地址、广播的发送方式，世界上的计算机就可以彼此通信了，问题是世界范围的互联网是由一个个彼此隔离的小的局域网组成的，那么如果所有的通信都采用以太网的广播方式，那么一台机器发送的包全世界都会收到，这就不仅仅是效率低的问题了，这会是一种灾难。

 

上图结论：必须找出一种方法来区分哪些计算机属于同一广播域，哪些不是，如果是就采用广播的方式发送，如果不是，就采用路由的方式（向不同广播域／子网分发数据包），mac地址是无法区分的，它只跟厂商有关

网络层功能：引入一套新的地址用来区分不同的广播域／子网，这套地址即网络地址

IP协议：

•规定网络地址的协议叫ip协议，它定义的地址称之为ip地址，广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示

•范围0.0.0.0-255.255.255.255

•一个ip地址通常写成四段十进制数，例：172.16.10.1

ip地址分成两部分

•网络部分：标识子网

•主机部分：标识主机

注意：单纯的ip地址段只是标识了ip地址的种类，从网络部分或主机部分都无法辨识一个ip所处的子网

例：172.16.10.1与172.16.10.2并不能确定二者处于同一子网

子网掩码

所谓”子网掩码”，就是表示子网络特征的一个参数。它在形式上等同于IP地址，也是一个32位二进制数字，它的网络部分全部为1，主机部分全部为0。比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分是后8位，那么子网络掩码就是11111111.11111111.11111111.00000000，写成十进制就是255.255.255.0。

知道”子网掩码”，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算（两个数位都为1，运算结果为1，否则为0），然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。

比如，已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0，请问它们是否在同一个子网络？两者与子网掩码分别进行AND运算，

172.16.10.1：10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0

172.16.10.2：10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND运算得网络地址结果：10101100.00010000.00001010.000000001->172.16.10.0

结果都是172.16.10.0，因此它们在同一个子网络。

总结一下，IP协议的作用主要有两个，一个是为每一台计算机分配IP地址，另一个是确定哪些地址在同一个子网络。

ip数据包

ip数据包也分为head和data部分，无须为ip包定义单独的栏位，直接放入以太网包的data部分

head：长度为20到60字节

data：最长为65,515字节。

而以太网数据包的”数据”部分，最长只有1500字节。因此，如果IP数据包超过了1500字节，它就需要分割成几个以太网数据包，分开发送了。

以太网头                ip 头                                     ip数据                                 

ARP协议

arp协议由来：计算机通信基本靠吼，即广播的方式，所有上层的包到最后都要封装上以太网头，然后通过以太网协议发送，在谈及以太网协议时候，我门了解到通信是基于mac的广播方式实现，计算机在发包时，获取自身的mac是容易的，如何获取目标主机的mac，就需要通过arp协议

arp协议功能：广播的方式发送数据包，获取目标主机的mac地址

协议工作方式：每台主机ip都是已知的

例如：主机172.16.10.10/24访问172.16.10.11/24

一：首先通过ip地址和子网掩码区分出自己所处的子网

场景 数据包地址

同一子网 目标主机mac，目标主机ip

不同子网 网关mac，目标主机ip

二：分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络，那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)

  源mac 目标mac 源ip 目标ip 数据部分

发送端主机 发送端mac FF:FF:FF:FF:FF:FF 172.16.10.10/24 172.16.10.11/24 数据

三：这个包会以广播的方式在发送端所处的自网内传输，所有主机接收后拆开包，发现目标ip为自己的，就响应，返回自己的mac

1.4 传输层

传输层的由来：网络层的ip帮我们区分子网，以太网层的mac帮我们找到主机，然后大家使用的都是应用程序，你的电脑上可能同时开启qq，暴风影音，等多个应用程序，那么我们通过ip和mac找到了一台特定的主机，如何标识这台主机上的应用程序，答案就是端口，端口即应用程序与网卡关联的编号。

传输层功能：建立端口到端口的通信

补充：端口范围0-65535，0-1023为系统占用端口

tcp协议：

可靠传输，TCP数据包没有长度限制，理论上可以无限长，但是为了保证网络的效率，通常TCP数据包的长度不会超过IP数据包的长度，以确保单个TCP数据包不必再分割。

以太网头 ip 头               tcp头               数据                                                     

udp协议：

不可靠传输，”报头”部分一共只有8个字节，总长度不超过65,535字节，正好放进一个IP数据包。

以太网头 ip头                      udp头                            数据                                         

tcp报文

 

tcp三次握手和四次挥手

 

1.5 应用层

应用层由来：用户使用的都是应用程序，均工作于应用层，互联网是开发的，大家都可以开发自己的应用程序，数据多种多样，必须规定好数据的组织形式

应用层功能：规定应用程序的数据格式。

例：TCP协议可以为各种各样的程序传递数据，比如Email、WWW、FTP等等。那么，必须有不同协议规定电子邮件、网页、FTP数据的格式，这些应用程序协议就构成了”应用层”。

 

2、socket

2.1 socket层

 

2.2 套接字分类

套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。

2.2.1 AF_UNIX

基于文件类型的套接字家族

unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

2.2.2 AF_INET

基于网络类型的套接字家族

(还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET)

2.3 套接字工作流程

一个生活中的场景。你要打电话给一个朋友，先拨号，朋友听到电话铃声后提起电话，这时你和你的朋友就建立起了连接，就可以讲话了。等交流结束，挂断电话结束此次交谈。 生活中的场景就解释了这工作原理。

 

先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束

2.4 socket()模块函数用法

import socket

socket.socket(socket_family,socket_type,protocal=0)

socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。

获取tcp/ip套接字

tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

获取udp/ip套接字

udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

由于 socket 模块中有太多的属性。我们在这里破例使用了'from module import *'语句。使用 'from socket import *',我们就把 socket 模块里的所有属性都带到我们的命名空间里了,这样能 大幅减短我们的代码。

例如tcpSock = socket(AF_INET, SOCK_STREAM)

# socket.sock_STREAM tcp协议

# socket.AF_INET 基于网络

# 127.0.0.1 本地回环地址只自己这台机器的IP#

# listen(5) 5是最多挂起的数目

2.4.1 服务端套接字函数

s.bind()    绑定(主机,端口号)到套接字

s.listen()  开始TCP监听

s.accept()  被动接受TCP客户的连接,(阻塞式)等待连接的到来

2.4.2 客户端套接字函数

s.connect()     主动初始化TCP服务器连接

s.connect_ex()  connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

2.4.3 公共用途的套接字函数

s.recv()            接收TCP数据

s.send()            发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)

s.sendall()         发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)

s.recvfrom()        接收UDP数据

s.sendto()          发送UDP数据

s.getpeername()     连接到当前套接字的远端的地址

s.getsockname()     当前套接字的地址

s.getsockopt()      返回指定套接字的参数

s.setsockopt()      设置指定套接字的参数

s.close()           关闭套接字

2.4.4 面向锁的套接字方法

s.setblocking()     设置套接字的阻塞与非阻塞模式

s.settimeout()      设置阻塞套接字操作的超时时间

s.gettimeout()      得到阻塞套接字操作的超时时间

2.4.5面向文件的套接字的函数

s.fileno()          套接字的文件描述符

s.makefile()        创建一个与该套接字相关的文件

2.5 基于TCP的套接字

tcp是基于链接的，必须先启动服务端，然后再启动客户端去链接服务端

2.5.1 简单套接字实现

socket通信流程与打电话流程类似，我们就以打电话为例来实现一个low版的套接字通信

服务端：

import socket
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、绑定手机卡
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8080))

#3、开机
phone.listen(5)

#4、等电话连接
print('starting...')
conn,addr=phone.accept()
print('IP:%s,PORT:%s' %(addr[0],addr[1]))

#5、收发消息
data=conn.recv(1024) #最大收1024
conn.send(data.upper())

#6、挂电话
conn.close()

#7、关机
phone.close()

客户端：

import socket
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、打电话
phone.connect(('127.0.0.1',8080))

#3、发收消息
phone.send('hello'.encode('utf-8'))
data=phone.recv(1024)
print(data.decode('utf-8'))

#4、挂电话
phone.close()

2.5.2 加循环

服务端：

import socket
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、绑定手机卡
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8082))

#3、开机
phone.listen(5)

#4、等电话连接
print('starting...')
while True: #连接循环
    conn,addr=phone.accept()
    print('IP:%s,PORT:%s' %(addr[0],addr[1]))

    #5、收发消息
    while True: #通信循环
        try:
            data=conn.recv(1024) #最大收1024
            print(data)
            if not data:break #针对linux
            conn.send(data.upper())
        except Exception:
            break

    #6、挂电话
    conn.close()

#7、关机
phone.close()

客户端：

import socket
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、打电话
phone.connect(('127.0.0.1',8082))

#3、发收消息
while True:
    msg=input('>>: ').strip()
    if not msg:continue
    phone.send(msg.encode('utf-8'))
    data=phone.recv(1024)
    print(data.decode('utf-8'))

#4、挂电话
phone.close()

2.5.3 问题

有的同学在重启服务端时可能会遇到

 

修改端口号

2.6、粘包

2.6.1 什么是粘包

须知：只有TCP有粘包现象，UDP永远不会粘包，所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

两种情况下会发生粘包：

（1）发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）

（2）接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）

2.6.2 解决粘包实例

服务端：

import socket
import subprocess
import struct
import json
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、绑定手机卡
# phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加
phone.bind(('127.0.0.1',8092))
#3、开机
phone.listen(5)

#4、等电话连接
print('starting...')
while True: #连接循环
    conn,addr=phone.accept()
    print('IP:%s,PORT:%s' %(addr[0],addr[1]))

    #5、收发消息
    while True: #通信循环
        try:
            cmd=conn.recv(1024) #最大收1024
            if not cmd:break #针对linux

            #执行命令
            obj=subprocess.Popen(cmd.decode('utf-8'),
                             shell=True,
                             stdout=subprocess.PIPE,
                             stderr=subprocess.PIPE)
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
            #制作报头
            header_dic = {'filename': 'a.txt',
                          'total_size': len(stdout)+len(stderr),
                          'md5': 'asdfa123xvc123'}

            header_json = json.dumps(header_dic)

            header_bytes = header_json.encode('utf-8')


            #先发报头的长度
            conn.send(struct.pack('i',len(header_bytes)))
            #再发送报头
            conn.send(header_bytes)
            #最后发送真实数据
            conn.send(stdout)
            conn.send(stderr)
        except Exception:
            break

    #6、挂电话
    conn.close()

#7、关机
phone.close()

 

客户端：

import socket
import struct
import json
#1、买手机
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

#2、打电话
phone.connect(('127.0.0.1',8092))

#3、发收消息
while True:
    cmd=input('>>: ').strip()
    if cmd == 'quit':break
    if not cmd:continue
    phone.send(cmd.encode('utf-8'))
    #先收报头长度
    obj=phone.recv(4)
    header_size=struct.unpack('i',obj)[0]

    #再收报头
    header_bytes=phone.recv(header_size)
    header_json=header_bytes.decode('utf-8')
    header_dic=json.loads(header_json)
    print(header_dic)
    #最后循环收真实的数据
    total_size=header_dic['total_size']
    filename=header_dic['filename']

    total_data=b''
    recv_size=0
    while recv_size < total_size:
        recv_data=phone.recv(1024)
        total_data+=recv_data
        recv_size+=len(recv_data)
    print(total_data.decode('gbk'))

#4、挂电话
phone.close()

2.6.3 struct模块

该模块可以把一个类型，如数字，转成固定长度的bytes

>>> struct.pack('i',1111111111111)

import struct

struct.pack('i',12)  把数字转成bytes

struct.unpack('i',res)  把bytes转成数字，返回一个元组

我们可以把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节（4个自己足够用了）

发送时：

先发报头长度

再编码报头内容然后发送

最后发真实内容

接收时：

先手报头长度，用struct取出来

根据取出的长度收取报头内容，然后解码，反序列化

从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容

2.6.4 subprocess模块

import subprocess

obj = subprocess.Popen('dir,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)

shell=True 使用当前平台的解释器

stdout=subprocess.PIPE 标准正确输出 将正确的结果放在管道里

stderr=subprocess.PIPE 标准错误输出 将错误的结果放在另一个管道里

stdout = obj.stdout.read().decode('gbk') 从正确的管道里取结果

stderr = obj.stderr.read().decode('gbk') 从错误的管道里取结果

res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)的结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码且只能从管道里读一次结果

2.6.5 某些windons命令

tasklist   #windons查看所以开启的服务

findstr  #windons过滤

tasklist|findstr qq

2.7、基于UDP的套接字

服务端：

from socket import *
line = socket(AF_INET,SOCK_DGRAM)
line.bind(('127.0.0.1',9999))
while True:
    data,addr=line.recvfrom(1024)
    line.sendto(data.upper(),addr)
    print(data)

客户端：

from socket import *
line = socket(AF_INET,SOCK_DGRAM)
while True:
    line.sendto(b'balabala', ('127.0.0.1',9999))
    data,addr=line.recvfrom(1024)
    print(data)