浅谈Python基础之I/O模型

一、I/O模型

IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。

同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？

这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous IO和non-blocking IO是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，先限定一下本文的上下文。
本文讨论的背景是Linux环境下的network IO。

Stevens在文章中一共比较了五种IO Model：

blocking IO（阻塞IO）

nonblocking IO （非阻塞IO）

IO multiplexing （IO多路复用）

asynchronous IO （异步IO）

signal driven IO （信号驱动IO）

由于signal driven IO在实际中并不常用，所以我这只提及剩下的四种IO Model。

再说一下IO发生时涉及的对象和步骤。

对于一个network IO (这里我们以read举例)，它会涉及到两个系统对象，一个是调用这个IO的process (or thread)，另一个就是系统内核(kernel)。当一个read操作发生时，它会经历两个阶段：

等待数据准备 (Waiting for the data to be ready)
将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)
记住这两点很重要，因为这些IO Model的区别就是在两个阶段上各有不同的情况。

二、 blocking IO

在linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概是这样：

当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network IO来说，很多时候数据在一开始还没有到达（比如，还没有收到一个完整的UDP包），这个时候kernel就要等待足够的数据到来。而在用户进程这边，整个进程会被阻塞。当kernel一直等到数据准备好了，它就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除block的状态，重新运行起来。

所以，blocking IO的特点就是在IO执行的两个阶段都被block了。

三、non-blocking IO

linux下，可以通过设置socket使其变为non-blocking。当对一个non-blocking socket执行读操作时，流程是这个样子：

从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲 ，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道数据还没有准备好，于是它可以再次发送read操作。一旦kernel中的数据准备好了，并且又再次收到了用户进程的system call，那么它马上就将数据拷贝到了用户内存，然后返回。所以，用户进程其实是需要不断的主动询问kernel数据好了没有。

注意：

在网络IO时候，非阻塞IO也会进行recvform系统调用，检查数据是否准备好，与阻塞IO不一样，”非阻塞将大的整片时间的阻塞分成N多的小的阻塞, 所以进程不断地有机会 ‘被' CPU光顾”。即每次recvform系统调用之间，cpu的权限还在进程手中，这段时间是可以做其他事情的，也就是说非阻塞的recvform系统调用之后，进程并没有被阻塞，内核马上返回给进程，如果数据还没准备好，此时会返回一个error。进程在返回之后，可以干点别的事情，然后再发起recvform系统调用。重复上面的过程，循环往复的进行recvform系统调用。这个过程通常被称之为轮询。轮询检查内核数据，直到数据准备好，再拷贝数据到进程，进行数据处理。需要注意，拷贝数据整个过程，进程仍然是属于阻塞的状态。

import time
import socket

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.bind(('127.0.0.1', 8080))
sk.listen(5)
sk.setblocking(False)  #设置套接字为非阻塞模式
while True:
  try:
    print('waiting client connection .......')
    connection, address = sk.accept() # 进程主动轮询
    print("+++", address)
    client_messge = connection.recv(1024)
    print(str(client_messge, 'utf8'))
    connection.close()
  except Exception as e:
    print(e)
    time.sleep(4)

#############################client

import time
import socket
sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)

while True:
  sk.connect(('127.0.0.1', 8080))
  print("hello")
  sk.sendall(bytes("hello", "utf8"))
  time.sleep(2)
  break

以上实例，服务段端每隔4秒轮询一次，若没有任何客户端链接，则会抛出错误信息，并继续轮询。

非阻塞IO：

优点：能够在等待任务完成的时间里干其他活了（包括提交其他任务，也就是 “后台” 可以有多个任务在同时执行）。

缺点：任务完成的响应延迟增大了，因为每过一段时间才去轮询一次read操作，而任务可能在两次轮询之间的任意时间完成，导致不能实时获取数据，这也会导致整体数据吞吐量的降低。

四、IO multiplexing

IO multiplexing这个词可能有点陌生，有些地方也称这种IO方式为event driven IO。我们都知道，select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket，当某个socket有数据到达了，就通知用户进程。它的流程如图：

当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。

这个图和blocking IO的图其实并没有太大的不同，事实上，还更差一些。因为这里需要使用两个system call (select 和 recvfrom)，而blocking IO只调用了一个system call (recvfrom)。但是，用select的优势在于它可以同时处理多个connection。（多说一句。所以，如果处理的连接数不是很高的话，使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好，可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快，而是在于能处理更多的连接）

在IO multiplexing Model中，实际中，对于每一个socket，一般都设置成为non-blocking，但是，如上图所示，整个用户的process其实是一直被block的。只不过process是被select这个函数block，而不是被socket IO给block。

注意：

1.select函数返回结果中如果有文件可读了，那么进程就可以通过调用accept()或recv()来让kernel将位于内核中准备到的数据copy到用户区。

2.select的优势在于可以处理多个连接，不适用于单个连接

import select, socket

sock = socket.socket()
sock.bind(('127.0.0.1', 8080))
sock.listen(5)

sock.setblocking(False)
listen_obj = [sock, ]

while True:
  r, w, e = select.select(listen_obj, [], [])

  for obj in r:
    if obj == sock:
      conn, addr = obj.accept()
      print('conn', conn)
      print('addr', addr)
      listen_obj.append(conn)
    else:
      data = obj.recv(1024)
      print(data.decode('utf8'))
      send_data = input('>>>')
      obj.send(send_data.encode('utf8'))

#############################client


import socket

sock = socket.socket()
sock.connect(('127.0.0.1', 8080))


while True:
  data = input('>>>')
  sock.send(data.encode('utf8'))
  recv_data = sock.recv(1024)
  print(recv_data.decode('utf8'))
sock.close()

以上实例，服务端kernel监听select负责的listen_obj中的所有socket对象。当任何一个socket对象激活，根据其类型判断是否建立通信。

五、asynchronous I/O

linux下的asynchronous IO其实用得很少。先看一下它的流程：

用户进程发起read操作之后，立刻就可以开始去做其它的事。而另一方面，从kernel的角度，当它收到一个asynchronous read之后，首先它会立刻返回，所以不会对用户进程产生任何block。然后，kernel会等待数据准备完成，然后将数据拷贝到用户内存，当这一切都完成之后，kernel会给用户进程发送一个signal，告诉它read操作完成了。

很明显，使用异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂。

A synchronous I/O operation causes the requesting process to be blocked until that I/O operation completes;

An asynchronous I/O operation does not cause the requesting process to be blocked;

两者的区别就在于synchronous IO做”IO operation”的时候会将process阻塞。按照这个定义，之前所述的blocking IO，non-blocking IO，IO multiplexing都属于synchronous IO。有人可能会说，non-blocking IO并没有被block啊。这里有个非常“狡猾”的地方，定义中所指的”IO operation”是指真实的IO操作，就是例子中的recvfrom这个system call。non-blocking IO在执行recvfrom这个system call的时候，如果kernel的数据没有准备好，这时候不会block进程。但是，当kernel中数据准备好的时候，recvfrom会将数据从kernel拷贝到用户内存中，这个时候进程是被block了，在这段时间内，进程是被block的。而asynchronous IO则不一样，当进程发起IO 操作之后，就直接返回再也不理睬了，直到kernel发送一个信号，告诉进程说IO完成。在这整个过程中，进程完全没有被block。

各个IO Model的比较如图所示：

经过上面的介绍，会发现non-blocking IO和asynchronous IO的区别还是很明显的。在non-blocking IO中，虽然进程大部分时间都不会被block，但是它仍然要求进程去主动的check，并且当数据准备完成以后，也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人（kernel）完成，然后他人做完后发信号通知。在此期间，用户进程不需要去检查IO操作的状态，也不需要主动的去拷贝数据。

以上这篇浅谈Python基础之I/O模型就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

# python  # i  # o  # 详细讲解Python中的文件I/O操作  # Python中文件I/O高效操作处理的技巧分享  # Python I/O与进程的详细讲解  # Python读写txt文本文件的操作方法全解析  # Python open读写文件实现脚本  # python 读写、创建 文件的方法(必看)  # python进阶教程之文本文件的读取和写入  # Python 文件读写操作实例详解  # Python简单I/O操作示例  # 还没有  # 多个  # 这个问题  # 拷贝到  # 这个时候  # 的人  # 是一个  # 它就  # 它会  # 会将  # 准备好了  # 也不  # 就可以  # 这段  # 给大家  # 它可以  # 任何一个  # 涉及到  # 很明显  # 就在于 

相关文章： ,巨量百应是干嘛的？  c# 服务器GC和工作站GC的区别和设置  微信h5制作网站有哪些,免费微信H5页面制作工具？  如何快速搭建安全的FTP站点？  陕西网站制作公司有哪些,陕西凌云电器有限公司官网？  如何快速启动建站代理加盟业务？  我的世界制作壁纸网站下载,手机怎么换我的世界壁纸？  深圳网站制作的公司有哪些,dido官方网站？  如何通过IIS搭建网站并配置访问权限？  如何将凡科建站内容保存为本地文件？  如何在腾讯云免费申请建站？  济南网站制作的价格,历城一职专官方网站？  模具网站制作流程,如何找模具客户？  重庆市网站制作公司,重庆招聘网站哪个好？  建站之星安装需要哪些步骤及注意事项？  如何配置WinSCP新建站点的密钥验证步骤？  建站之星如何配置系统实现高效建站？  沈阳制作网站公司排名,沈阳装饰协会官方网站？  利用JavaScript实现拖拽改变元素大小  济南专业网站制作公司,济南信息工程学校怎么样？  攀枝花网站建设,攀枝花营业执照网上怎么年审？  ,南京靠谱的征婚网站？  如何实现建站之星域名转发设置？  制作门户网站的参考文献在哪,小说网站怎么建立？  如何在阿里云通过域名搭建网站？  如何零基础开发自助建站系统？完整教程解析  网站app免费制作软件,能免费看各大网站视频的手机app？  建站VPS配置与SEO优化指南：关键词排名提升策略  公司网站制作价格怎么算,公司办个官网需要多少钱？  手机网站制作平台,手机靓号代理商怎么制作属于自己的手机靓号网站？  详解jQuery中基本的动画方法  如何快速搭建支持数据库操作的智能建站平台？  专业企业网站设计制作公司,如何理解商贸企业的统一配送和分销网络建设？  高端企业智能建站程序：SEO优化与响应式模板定制开发  建站主机服务器选型指南与性能优化方案解析  建站168自助建站系统：快速模板定制与SEO优化指南  c# Task.Yield 的作用是什么 它和Task.Delay(1)有区别吗  建站上市公司网站建设方案与SEO优化服务定制指南  如何确保西部建站助手FTP传输的安全性？  如何快速辨别茅台真假？关键步骤解析  c++怎么用jemalloc c++替换默认内存分配器【性能】  子杰智能建站系统｜零代码开发与AI生成SEO优化指南  岳西云建站教程与模板下载_一站式快速建站系统操作指南  css网站制作参考文献有哪些,易聊怎么注册？  建站VPS选购需注意哪些关键参数？  单页制作网站有哪些,朋友给我发了一个单页网站，我应该怎么修改才能把他变成自己的呢，请求高手指点迷津？  怎么将XML数据可视化 D3.js加载XML  佛山网站制作系统,佛山企业变更地址网上办理步骤？  简易网站制作视频教程,使用记事本编写一个简单的网页html文件？  合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍？