• Python多进程(2)——mmap模块与mmap对象


      本文介绍Python mmap模块与mmap对象的用法。

      mmap 模块提供“内存映射的文件对象”,mmap 对象可以用在使用 plain string 的地方,mmap 对象和 plain string 的区别是:

    • mmap 对象不提供字符串对象的方法;
    • mmap 对象是可变的,而 str 对象是不可变的
    • mmap 对象同时对应于打开的文件,多态于一个Python file 对象

      mmap 对象可以切片和索引,也可以为它的切片或索引赋值(因为 mmap 对象是可变的),为 mmap 对象的切片赋值时,赋值语句右值的长度必须和左值切片的长度相同。mmap 对象可以作为进程间通过文件进行 IPC 的一种替换手段。

    创建 mmap 对象

    mmap(filedesc, length, tagname='') #windows
    mmap(filedesc, length, flag=MAP_SHARED, prot=PROT_READ|PROT_WRITE) #Unix

      创建并返回一个 mmap 对象,参数 filedesc 通常是由 f.fileno()获得的,这在Python文件系列中已经介绍过。

      mmap 创建对象的含义是:将指定 fd 的前 length 字节映射到内存。

      Windows中,可以通过参数tagname为一段内存映射指定名称,这样一个文件上面可以同时具有多个 mmap。windows中的内存映射都是可读可写的,同时在进程之间共享。

      Unix平台上,参数 flags 的可选值包括:

        mmap.MAP_PRIVATE:这段内存映射只有本进程可用;

        mmap.MAP_SHARED:将内存映射和其他进程共享,所有映射了同一文件的进程,都能够看到其中一个所做的更改;

      参数 prot 对应的取值包括:mmap.PROT_READ, mmap.PROT_WRITE 和 mmap.PROT_WRITE | mmap.PROT_READ。最后一者的含义是同时可读可写。

    mmap 对象的方法

     m.close()   关闭 m 对应的文件;

     m.find(str, start=0)   从 start 下标开始,在 m 中从左往右寻找子串 str 最早出现的下标;

     m.flush([offset, n])   把 m 中从offset开始的n个字节刷到对应的文件中,参数 offset 要么同时指定,要么同时不指定;

     m.move(dstoff, srcoff, n)   等于 m[dstoff:dstoff+n] = m[srcoff:srcoff+n],把从 srcoff 开始的 n 个字节复制到从 dstoff 开始的n个字节,可能会覆盖重叠的部分。

     m.read(n)   返回一个字符串,从 m 对应的文件中最多读取 n 个字节,将会把 m 对应文件的位置指针向后移动;

     m.read_byte()   返回一个1字节长的字符串,从 m 对应的文件中读1个字节,要是已经到了EOF还调用 read_byte(),则抛出异常 ValueError;

     m.readline()   返回一个字符串,从 m 对应文件的当前位置到下一个' ',当调用 readline() 时文件位于 EOF,则返回空字符串;

     m.resize(n)   把 m 的长度改为 n,m 的长度和 m 对应文件的长度是独立的;

     m.seek(pos, how=0)   同 file 对象的 seek 操作,改变 m 对应的文件的当前位置;

     m.size()   返回 m 对应文件的长度(不是 m 对象的长度len(m));

     m.tell()   返回 m 对应文件的当前位置;

     m.write(str)   把 str 写到 m 对应文件的当前位置,如果从 m 对应文件的当前位置到 m 结尾剩余的空间不足len(str),则抛出 ValueError

     m.write_byte(byte)   把1个字节(对应一个字符)写到 m 对应文件的当前位置,实际上 m.write_byte(ch) 等于 m.write(ch)。如果 m 对应文件的当前位置在 m 的结尾,也就是 m 对应文件的当前位置到 m 结尾剩余的空间不足1个字节,write() 抛出异常ValueError,而 write_byte() 什么都不做。

      对于EOF的处理,write() 和 read_byte() 抛出异常 ValueError,而 write_byte() 和 read() 什么都不做。

    例:

    # process 1
    f = open('xxx', 'w')
    while True:
        data = raw_input('Enter some text:')
        f.seek(0)
        f.write(data)
        f.truncate()
        f.flush()
    
    # process 2
    import mmap, os, time
    m = mmap.mmap(os.open('xxx', os.O_RDWR), 1)
    last = None
    while True:
        m.resize(m.size())
        data = [:]
        if data != last:
            print data
            last = data
        time.sleep(5)
    

      该例子中,process 1 等待用户输入新内容并将其写入到文件 xxx 中,process 2 直接将整个文件映射到内存对象 m,然后每隔5秒检查一下文件是否发生变化。

  • 相关阅读:
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint 7
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint 6
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint 5
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint4
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint3
    高级软件工程第九次作业----------团队作业6◆◆◆◆◆◆IP、IC、IQ卡团队Beta Sprint2
    高级软件工程 第八次作业 ※※※※※※※※ IP、IC、IQ卡团队作业5
    Alpha版本 ◆◆◆◆◆◆◆◆◆ IP、IC、IQ卡团队展示博客
    Java课程总结
    第十四周Java总结&实验总结
  • 原文地址:https://www.cnblogs.com/Security-Darren/p/4733387.html
Copyright © 2020-2023  润新知