1-socket编程

一、socket介绍

看socket之前，先来回顾一下五层通讯流程： 

但实际上从传输层开始以及以下，都是操作系统帮咱们完成的

　　Socket又称为套接字，它是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。当我们使用不同的协议进行通信时就得使用不同的接口，还得处理不同协议的各种细节，这就增加了开发的难度，软件也不易于扩展(就像我们开发一套公司管理系统一样，报账、会议预定、请假等功能不需要单独写系统，而是一个系统上多个功能接口，不需要知道每个功能如何去实现的)。于是UNIX BSD就发明了socket，socket屏蔽了各个协议的通信细节，使得程序员无需关注协议本身，直接使用socket提供的接口来进行不同主机间的进程的通信。这就好比操作系统给我们提供了使用底层硬件功能的系统调用，通过系统调用我们可以方便的使用磁盘（文件操作），使用内存，而无需自己去进行磁盘读写，内存管理。socket其实也是一样的东西，就是提供了tcp/ip协议的抽象，对外提供了一套接口，通过这个接口就可以统一、方便地使用tcp/ip协议的功能了。

　　其实站在你的角度上看，socket就是一个模块。我们通过调用模块中已经实现的方法建立两个进程之间的连接和通信。也有人将socket说成ip+port，因为ip是用来标识互联网中的一台主机的位置，而port是用来标识这台机器上的一个应用程序。 所以我们只要确立了ip和port就能找到一个应用程序，并且使用socket模块来与之通信。

二、套接字发展史及分类

套接字起源于20世纪70年代加利福尼亚大学伯克利分校版本的Unix,即人们所说的BSD Unix。 因此，有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或IPC。套接字有两种（或者称为有两个种族）,分别是基于文件型的和基于网络型的。

基于文件类型的套接字家族
套接字家族的名字：AF_UNIX
unix一切皆文件，基于文件的套接字调用的就是底层的文件系统来取数据，两个套接字进程运行在同一机器，可以通过访问同一个文件系统间接完成通信

基于网络类型的套接字家族
套接字家族的名字：AF_INET

还有AF_INET6被用于ipv6，还有一些其他的地址家族，不过，他们要么是只用于某个平台，要么就是已经被废弃，或者是很少被使用，或者是根本没有实现，所有地址家族中，AF_INET是使用最广泛的一个，python支持很多种地址家族，但是由于我们只关心网络编程，所以大部分时候我么只使用AF_INET

三、套接字的工作流程（基于TCP和 UDP两个协议）

3.1、TCP和UDP对比

TCP（Transmission Control Protocol）可靠的、面向连接的协议（eg:打电话）、传输效率低全双工通信（发送缓存&接收缓存）、面向字节流。使用TCP的应用：Web浏览器；文件传输程序。

UDP（User Datagram Protocol）不可靠的、无连接的服务，传输效率高（发送前时延小），面向报文(数据包)，尽最大努力服务，无拥塞控制。使用UDP的应用：域名系统 (DNS)；视频流；IP语音(VoIP)。

3.2、TCP协议下的socket

先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，对端口进行监听(listen)，调用accept阻塞，等待客户端连接。在这时如果有个客户端初始化一个Socket，然后连接服务器(connect)，如果连接成功，这时客户端与服务器端的连接就建立了。客户端发送数据请求，服务器端接收请求并处理请求，然后把回应数据发送给客户端，客户端读取数据，最后关闭连接，一次交互结束。

3.3、细说socket()模块函数用法

import socket
socket.socket(socket_family,socket_type,protocal=0)
socket_family 可以是 AF_UNIX 或 AF_INET。socket_type 可以是 SOCK_STREAM 或 SOCK_DGRAM。protocol 一般不填,默认值为 0。

 例如：

获取tcp/ip套接字

tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
默认就是tcp套接字，所以可以写成tcpSock = socket.socket()

获取udp/ip套接字

udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

由于 socket 模块中有太多的属性。我们在这里可以使用 'from socket import *',我们就把socket模块里的所有属性都带到我们的命名空间里了,这样能大幅减短我们的代码。
例如tcpSock = socket(AF_INET, SOCK_STREAM)

服务端套接字函数

s.bind() 绑定(主机,端口号)到套接字
s.listen() 开始TCP监听
s.accept() 被动接受TCP客户的连接,(阻塞式)等待连接的到来

客户端套接字函数

s.connect() 主动初始化TCP服务器连接
s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途的套接字函数

s.recv() 接收TCP数据
s.send() 发送TCP数据(send在待发送数据量大于自己缓存区剩余空间时,数据丢失,不会发完)
s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于自己缓存区剩余空间时,数据不丢失,循环调用send直到发完)
s.recvfrom() 接收UDP数据
s.sendto() 发送UDP数据
s.getpeername() 连接到当前套接字的远端的地址
s.getsockname() 当前套接字的地址
s.getsockopt() 返回指定套接字的参数
s.setsockopt() 设置指定套接字的参数
s.close() 关闭套接字

例子：获取本端和对端的ip地址和端口信息
服务端
import socket
s = socket.socket()
s.bind(('127.0.0.1', 8080))
s.listen(5)
conn, addr = s.accept()

localname = conn.getsockname()
peername = conn.getpeername()
print('local:%s, peer:%s'%(localname, peername))
print('描述符%s'%conn.fileno())
# 结果：
# local:('127.0.0.1', 8080), peer:('127.0.0.1', 3030)
# 描述符236

客户端
import socket
s = socket.socket()
s.connect(('127.0.0.1', 8080))

localname = s.getsockname()
peername = s.getpeername()
print('local:%s, peer:%s'%(localname, peername))
# 结果：local:('127.0.0.1', 3030), peer:('127.0.0.1', 8080)

面向锁的套接字方法

s.setblocking() 设置套接字的阻塞与非阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 得到阻塞套接字操作的超时时间

面向文件的套接字的函数

s.fileno() 套接字的文件描述符
s.makefile() 创建一个与该套接字相关的文件

第一版，单个客户端与服务端通信
服务端

import socket

#定义tcp或udp套接字对象，（tcp协议也叫流协议，udp协议也叫数据报协议）
tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) #tcp，默认写成socket.socket()就是AF_INET，和tcp
udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #udp

#绑定服务端ip和监听端口，格式是一个元组
tcp_socket.bind(('127.0.0.1', 8081))

#开启服务端监听，并设置允许的半连接个数，依据系统不同，通常是5
tcp_socket.listen(5)
print('server is listening')

#等待tcp连接，当有客户端连接时，会接收到连接对象和客户端ip，将这2个值赋值给conn,addr
conn, addr = tcp_socket.accept()
print(conn, addr)
# <socket.socket fd=228, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8081), raddr=('127.0.0.1', 12941)> ('127.0.0.1', 12941)

#限制接收的字节大小，单位是bytes
data_recv = conn.recv(1024)
print(data_recv)

#服务端给客户端回复消息
conn.send(data_recv.upper())

#关闭会话
conn.close()

#关闭tcp连接
tcp_socket.close()

客户端

import socket
tcp_socket_client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_socket_client.connect(('127.0.0.1',8081))

#客户端发送数据
tcp_socket_client.send('hello'.encode('utf-8'))
data_recv = tcp_socket_client.recv(1024)
print(data_recv)

tcp_socket_client.close()

结果：

服务端：收到客户端发送过来的hello
server is listening
b'hello'

客户端：收到服务端返回的大写的HELLO
b'HELLO'

第二版，服务端和客户端循环发送和接收数据
服务端

import socket

s = socket.socket()
s.bind(('127.0.0.1', 8080))
s.listen(5)
conn, addr = s.accept()

while 1:
#限制接收的字节大小，单位是bytes
    data_recv = conn.recv(1024)
    print(data_recv)

    #服务端给客户端回复消息
    conn.send(data_recv.upper())

#关闭会话
conn.close()

#关闭tcp连接
tcp_socket.close()
# 结果：
# b'abc'
# b'123'
# b'ddd'
# b'xe4xbdxa0xe5xa5xbd'

客户端

import socket
s = socket.socket()
s.connect(('127.0.0.1', 8080))

while 1:
    #客户端发送数据
    data_send = input('>>>')
    #判断发送的如果是空字符，就重新输入
    if not data_send:continue
    s.send(data_send.encode('utf-8'))

    data_recv = s.recv(1024)
    print(data_recv)

s.close()

# >>>abc
# b'ABC'
# >>>123
# b'123'
# >>>ddd
# b'DDD'
# >>>你好
# b'xe4xbdxa0xe5xa5xbd'
# >>>

第三版，服务端持续接收多个客户端的数据包

import socket

tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

tcp_socket.bind(('127.0.0.1', 8080))
tcp_socket.listen(5)
print('server is listening')

#这里需要服务端循环接收客户端的连接
while 1:
    # 等待tcp连接，当有客户端连接时，会接收到连接对象和客户端ip，将这2个值赋值给conn,addr
    conn, addr = tcp_socket.accept()
    print(conn, addr)
    # 服务端循环接收客户端发送的数据包
    while 1:
        try:
            #限制接收的字节大小，单位是bytes
            data_recv = conn.recv(1024)
            print(data_recv)

            #服务端给客户端回复消息
            conn.send(data_recv.upper())
        #如果客户端主动断开连接，服务端需要捕捉异常并结束循环
        except ConnectionResetError:
            break
    #关闭会话
    conn.close()

#关闭tcp连接
tcp_socket.close()

远程执行命令的示例：
服务端：

import socket
import subprocess

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(('127.0.0.1', 8082))
server.listen(5)

while 1:
    conn, addr = server.accept()
    print(conn, addr)

    while 1:
        try:
            cmd = conn.recv(1024)
            print(cmd)
            obj = subprocess.Popen(cmd.decode('utf-8'),
            shell=True,
            stdout=subprocess.PIPE,
            stderr=subprocess.PIPE,
            )
            ret = obj.stdout.read()
            ret_err = obj.stderr.read()
            conn.send(ret + ret_err)
        except Exception:
            break
    conn.close()
server.close()

客户端：

import socket

client = socket.socket()
client.connect(('127.0.0.1', 8082))

while 1:
    msg = input('>>>').strip()
    if not msg:continue
    elif msg.upper() == 'Q':break
    client.send(msg.encode('utf-8'))
    client_recv_data = client.recv(1024)
    rst = client_recv_data.decode('gbk')
    print(rst)

client.close()

结果：

客户端输入dir，返回服务端dir命令的结果：
>>>dir
驱动器 G 中的卷没有标签。
卷的序列号是 F427-C1C8

G:python3.6oldboy 的目录

2018/12/08 17:47 <DIR> .
2018/12/08 17:47 <DIR> ..
2018/10/16 19:58 <DIR> .idea
2018/11/26 14:29 <DIR> blog
2018/12/08 17:22 344 client.py
2018/12/08 15:21 227 client2.py
2018/12/08 15:24 227 client3.py

3.4、UDP协议下的socket

udp是无连接的，先启动哪一端都不会报错

3.5、UDP下的socket通讯流程

　　先从服务器端说起。服务器端先初始化Socket，然后与端口绑定(bind)，recvfrom接收消息，这个消息有两项，消息内容和对方客户端的地址，然后回复消息时也要带着你收到的这个客户端的地址，发送回去，最后关闭连接，一次交互结束。

　　创建两个文件udp_server.py(服务端)和udp_client.py(客户端)，先运行udp_server.py文件，再运行udp_client.py文件。

sever端代码示例

import socket
udp_sk = socket.socket(type=socket.SOCK_DGRAM) #创建一个服务器的套接字
udp_sk.bind(('127.0.0.1',9000)) #绑定服务器套接字
msg,addr = udp_sk.recvfrom(1024)
print(msg)
udp_sk.sendto(b'hi',addr) # 对话(接收与发送)
udp_sk.close() # 关闭服务器套接字

client端代码示例

import socket
ip_port=('127.0.0.1',9000)
udp_sk=socket.socket(type=socket.SOCK_DGRAM)
udp_sk.sendto(b'hello',ip_port)
back_msg,addr=udp_sk.recvfrom(1024)
print(back_msg.decode('utf-8'),addr)

3.6、类似于qq聊天的代码示例：

server端

import socket
ip_port=('127.0.0.1',8081)
udp_server_sock=socket.socket(socket.AF_INET,socket.SOCK_DGRAM) #DGRAM:datagram 数据报文的意思，象征着UDP协议的通信方式
udp_server_sock.bind(ip_port)    #对外提供服务的端口就是这一个，所有的客户端都是通过这个端口和服务端进行通信的

while True:
qq_msg,addr=udp_server_sock.recvfrom(1024)# 阻塞状态，等待接收消息
print('来自[%s:%s]的一条消息:33[1;44m%s33[0m' %(addr[0],addr[1],qq_msg.decode('utf-8')))
back_msg=input('回复消息: ').strip()

udp_server_sock.sendto(back_msg.encode('utf-8'),addr)

client端

import socket
BUFSIZE=1024
udp_client_socket=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)

qq_name_dic={
# 真实情况下是不同ip
'Tom':('127.0.0.1',8081),
'Mike':('127.0.0.1',8081),
'Jack':('127.0.0.1',8081),
'John':('127.0.0.1',8081),
}

while True:
    qq_name=input('请选择聊天对象: ').strip()
    if not qq_name or qq_name not in qq_name_dic:continue
    while True:
        msg=input('请输入消息,回车发送,输入q结束和他的聊天: ').strip()
        if msg == 'q':break
        if not msg:continue
        udp_client_socket.sendto(msg.encode('utf-8'),qq_name_dic[qq_name])
        # 必须带着自己的地址，这就是UDP不一样的地方，不需要建立连接，但是要带着自己的地址给服务端，
        # 否则服务端无法判断是谁给我发的消息，并且不知道该把消息回复到什么地方，因为我们之间没有建立连接通道

        back_msg,addr=udp_client_socket.recvfrom(BUFSIZE)# 同样也是阻塞状态，等待接收消息
        print('来自[%s:%s]的一条消息:33[1;44m%s33[0m' %(addr[0],addr[1],back_msg.decode('utf-8')))

udp_client_socket.close()

3.7、NTP例子

接下来，给大家说一个真实的例子，也就是实际当中应用的，就是我们电脑系统上的时间，windows系统的时间是和微软的时间服务器上的时间同步的，而mac本是和苹果服务商的时间服务器同步的，这是怎么做的呢，首先他们的时间服务器上的时间是和国家同步的，你们用我的系统，那么你们的时间只要和我时间服务器上的时间同步就行了，时间服务器作为服务端提供服务，电脑作为客户端，就是通过UDP来实现的。

自制时间服务器的代码示例：
server端

from socket import *
from time import strftime
import time
ip_port = ('127.0.0.1', 9000)
bufsize = 1024

tcp_server = socket(AF_INET, SOCK_DGRAM)
tcp_server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
tcp_server.bind(ip_port)

while True:
    msg, addr = tcp_server.recvfrom(bufsize)
    print('===>', msg)
    stru_time = time.localtime()  #当前的结构化时间
    if not msg:
        time_fmt = '%Y-%m-%d %X'
    else:
        time_fmt = msg.decode('utf-8')
    back_msg = strftime(time_fmt,stru_time)
    print(back_msg,type(back_msg))
    tcp_server.sendto(back_msg.encode('utf-8'), addr)

tcp_server.close()

client端

from socket import *
ip_port=('127.0.0.1',9000)
bufsize=1024

tcp_client=socket(AF_INET,SOCK_DGRAM)

while True:
    msg=input('请输入时间格式(例%Y %m %d)>>: ').strip()
    tcp_client.sendto(msg.encode('utf-8'),ip_port)

    data=tcp_client.recv(bufsize)
    print('当前日期：',str(data,encoding='utf-8'))