〖Python〗-- socket + select 实现构建异步非阻塞模块

【socket + select 实现构建异步非阻塞模块】

对于异步IO请求的本质则是【非阻塞Socket】+【IO多路复用】，那我们是否可以自定义异步IO模块，作为客户端，用于发送请求呢？答案那是肯定的！

补充说明：select可操作任何对象，但对象内必须是有fileno方法，可以看作是一个数值，给系统提供(文件句柄)，其内部执行的是socket对象fileno方法的返回值！

自定义一个插件，模块如下：

import socket
import select

class Request(object):
    """
    select监听的是有变化的对象，当多个socket通信存在的话，当发生变化时，无法确定哪个是哪个。此时就需要唯一指定哪个通信处理的是什么数据！
    我们想到的办法是，再另创建一个类，用于接收当前的socket和信息，实例化唯一的对象！
    巧妙之处就在于唯一化的处理，生成的每个对象都是唯一的！！！
    """
    def __init__(self,sock,info):
    #初始化
        self.sock = sock   通信
        self.info = info   信息

    def fileno(self):  #转换成fileno对象
        return self.sock.fileno()


class NoBlockIO(object):
    def __init__(self):
        self.sock_list = []
        self.conns = []

    def add_request(self,req_info):
        """
        创建请求
         假设：req_info = {'host': 'www.baidu.com', 'port': 80, 'path': '/'},
        :return:
        """
        sock = socket.socket()  #创建socket对象
        sock.setblocking(False) #设置为非阻塞
        
        #建立连接，因为是非阻塞状态，连接可能会出异常所以需要做异常处理。
        #此处一定要注意，不管报不报错，连接的请求肯定会发出！
        try:
            sock.connect((req_info['host'],req_info['port']))
        except BlockingIOError as e:
            pass
        #实例化唯一的通信对象
        obj = Request(sock,req_info) #将生成的sock对象和信息列表传递到Request类，然后获取对应的文件句柄，信息保留到
        self.sock_list.append(obj) #将得到的对象添加到sock_list 通信列表中
        self.conns.append(obj)    #将得到的对象添加到conns 连接列表中

    def run(self):
        """
        开始事件循环,检测：连接成功？数据是否返回？
        注意此处操作的就全是Request类生成的对象！！！
        :return:
        """
        while True:
            # select.select([request对象,])
            r,w,e = select.select(self.sock_list,self.conns,[],0.05)
            
            # w,是否连接成功
            for obj in w:
                # 检查obj:request对象是谁，此时就需要唯一判断了！利用类可以封装对象的特性解决！
                # socket, {'host': 'www.baidu.com', 'port': 80, 'path': '/'},
                data = "GET %s http/1.1
host:%s

" %(obj.info['path'],obj.info['host']) #发送GET请求的信息
                obj.sock.send(data.encode('utf-8')) #连接成功，发送字节数据
                self.conns.remove(obj) #然后在连接列表中删除这个对象，防止发送两次，排除循环通信的可能
            
            # 数据返回，接收到数据
            for obj in r:
                response = obj.sock.recv(8096)  #成功接收到数据，接收返回的信息
                #单个回调函数
                obj.info['callback'](response) #指定对应对象执行回调函数，参数为返回的信息
                
                #多个回调函数的情况！
                #for func in obj.info['callback'] #指定对应对象执行回调函数，参数为返回的信息
                #    func(response)
                
                self.sock_list.remove(obj)  #在监听列表中移除这个对象

            # 所有请求已经返回
            if not self.sock_list: #所有请求都处理完，就退出循环
                break

调用这个插件，使用插件里的方法：

from .NBIO import NoBlockIO

#自定义定义回调函数，对返回的信息进行处理(执行完毕之后，对数据进行什么操作)
def done1(response):
    print(response)

def done2(response):
    print(response)

#准备执行的信息，域名，端口号，回调函数
url_list = [
    {'host': 'www.baidu.com', 'port': 80, 'path': '/','callback': done1},
    {'host': 'www.cnblogs.com', 'port': 80, 'path': '/index.html','callback': done2},
    {'host': 'www.bing.com', 'port': 80, 'path': '/','callback': done2},
]

#实例化一个对象
noblockObj = NoBlockIO()

#循环要处理的信息
for item in url_list:
    noblockObj.add_request(item)  #为条信息创建请求

noblockObj.run() #执行
#谁先执行完就返回谁，相对独立，互不干扰！

异步是相对而言，需要时间循环去检测！
以上是简单的模块定制，更多的操作，例如：分割响应头，响应体；or 保存文件这些操作后续需要，再进行补充！

慎重说明：必须知道和理解整个执行的流程！！！