• python--IO模块


    IO模块

    一 IO模型 分为:

    1 阻塞IO (accept recv)

    2 非阻塞IO

    3  IO多路复用(监听多个链接)

    4 异步IO

    5 驱动信号模型(不经常使用)

     

    1 阻塞IO (blocking IO)

    特点:全程阻塞(进程不能干其他的事儿)

    当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:准备数据。对于network io来说,很多时候数据在一开始还没有到达,这个时候kernel就要等待足够的数据到来,而在用户进程这边,整个进程会被阻塞。

    当kernel直等到数据准备好了,他就会将数据从kernel中拷贝到用户内存,然后kernel返回结果,用户进程才解除block的状态,重新运行起来。

     

    2 非阻塞IO(non-blocking IO)

    特点:发送多次系统调用

    优点:wait for data时无阻塞

    缺点:多次系统调用,消耗,不能第一时间拿取数据

    两个阶段:wait for data非阻塞

                  cope data是阻塞的

    注意:在网络IO时候,非阻塞IO也会进行recvfrom系统调用,检查数据是否准备好,与阻塞IO不一样,”非阻塞将大的整片时间的阻塞分成N多的小的阻塞,所以进程不断地有机会’被CPU光顾’”。即每次recvfrom系统调用之间,cpu的权限还在进程手中,这段时间可以做其他事情。

    也就是说非 阻塞的recvfrom系统调用,进程并没有被阻塞,内核马上返回给进程,如果数据还没有准备好,此时会返回一个error。进程在返回之后,可以干点别的事情,然后在发起recvfrom系统调用,重复上面的过程。不断重复进行recvfrom系统调用,这个过程被称为轮询,轮询检查内核数据,直到数据被准备好,再拷贝数据到进程,进行数据处理,需要注意,拷贝数据整个过程,进程仍然是属于阻塞的状态。

    #服务端
    import socket
    sk=socket.socket()
    sk.bind(("127.0.0.1",8000))
    sk.listen(5)
    sk.setblocking(False)
    while True:
        try:
            print("waiting.........")
            conn,addr=sk.accept()
            print("++++",conn)
            data=conn.recv(1024)
            print(data.decode("utf8"))
    
        except Exception as e:
            print(e)
            time.sleep(4)
    
    #客户端
    import time
    import socket
    sk=socket.socket()
    sk.connect(("127.0.0.1",8000))
    while True:
        data=input(">>")
        sk.send(data.encode("utf-8"))
        time.sleep(2)
    
    
    
    执行结果:
    waiting.........
    [WinError 10035] 无法立即完成一个非阻止性套接字操作。
    waiting.........
    [WinError 10035] 无法立即完成一个非阻止性套接字操作。
    waiting.........
    [WinError 10035] 无法立即完成一个非阻止性套接字操作。
    waiting.........
    

      

    3 IO多路复用(IO multiplexing)

    特点:1全程阻塞(wait for data, copy data)

            2 能监听多个文件描述符

              实现并发

    select, epoll,poll

    select发起系统调用(监听多个连接 实行并发)

     对于文件描述符(套接字对象):

    1 是一个非零整数,不会变

    2 收发数据的时候,对于接收端而言,数据先到内核空间,然后通过copy到用户空间,同时,内核空间数据清空。

    IO multiplexing这个词可能有点陌生,但是如果说select,epoll,大概就都能明白了,有些地方也称这用IO方式为event driven IO。我们知道,select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO,它的基本原理就是selet/epoll这个function会不断的轮询所有的socket,当某个socket有数据到达了,就通知用户进程。

    当用户进程调用了select,那么整个进程会被block,而同时,kernel会”监视”所有select负责的socket,当任何一个socket中的数据准备好了,select就回返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。

    需要使用两个system call(select和recvfrom),而blocking IO只调用了一个system call(recvfrom)。

    注意1:select函数返回结果中如果有文件可读了,那么进程就可以通过调用accept()或recv()

    来让kernel将位于内核中准备到数据copy到用户区。

    注意2:select的优势在于可以处理多个连接,不适用于单个连接

    #服务端
    import socket
    import select
    sock=socket.socket()
    sock.bind(("127.0.0.1",8000))
    sock.listen(5)
    
    # sock.setblocking(False)
    inputs=[sock,]
    while True:
        r,w,e=select.select(inputs,[],[]) #监听有变化的套接字,
    
        for obj in r:
            if obj==sock:
                conn,addr=obj.accept()
                inputs.append(conn)  #l=[sock,conn]
            else:
                data=obj.recv(1024)
                print(data.decode("utf8"))
                send_data=input(">>>")
                obj.send(send_data.encode("utf8"))
    
    
    
    #客户端
    import socket
    sock=socket.socket()
    sock.connect(("127.0.0.1",8000))
    
    while True:
        data=input(">>>")
        sock.send(data.encode("utf8"))
        res=sock.recv(1024)
        print(res.decode("utf8"))
    
    sock.close()
    

      

    4 异步IO(Asynchronous I/O)

    特点:全程无阻塞

    用户进程发起read操作之后,立刻就可以开始去做其他的事儿,从另一方面,从kernel的角度,当它收到一个asynchronous read 之后,首先它会立刻返回,所以不会对用户进程产生任何block,然后,kernel会 数据准备完成 ,然后将数据拷贝到用户内存,当着一切都完成之后,kernel就给用户进程发送一个signal,告诉它read操作完成了。

     

    同步阻塞:包括(阻塞IO,非阻塞IO,IO多路复用)

    异步阻塞:无阻塞 包括(异步IO)

    各个IO  Model的比较如果所示:

  • 相关阅读:
    [note]抽象类和接口的相同点和不同点
    百度竞价门再跟踪:违规医疗广告数量仍大幅增加
    获取拼音的第一个字母的方法
    一个分页存储过程
    正则表达式(Regular Expressions)
    四个故事
    Oracle 常用
    我很喜欢的一个[帖子]:从现在起,我开始还债。
    DataGrid 中的 HyperLinkColumn (可以携带多个Get参数)
    100 statements in English.
  • 原文地址:https://www.cnblogs.com/niejinmei/p/6836350.html
Copyright © 2020-2023  润新知