• doc

       今天主要介绍如何通过python来对Redis和memcache进行操作，下面开始今天的内容：

      一、Memcached操作

        Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值的hashmap。其守护进程(daemon)是用C语言写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

    1，Memcached安装和基本使用

    Memcached安装：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    #源码安装memcached,依赖libevent
    #需要提前安装:yum -y install libevent-devel
     
    wget http://memcached.org/latest
    tar -zxf memcached-1.4.29.tar.gz
    cd memcached-1.4.29/
    ./configure && make && make test && sudo make install
     
     
    #编译安装以后，启动memcached进程
    memcached -d -m 10    -u root -l 10.211.55.4 -p 12000 -c 256 -P /tmp/memcached.pid
     
    #memcached参数说明：
        -d :启动一个守护进程；
        -m :分配给Memcache使用的内存数量，单位是MB；
        -u :运行memcache的用户；
        -l :监听的服务器IP地址；
        -p :设置Memcache监听的端口，最好是1024以上的端口；
        -c :选项是最大运行的并发连接数，默认是1024，按照你服务器的负载量来设定；
        -P :设置保存Memcache的pid文件。

    Memcached操作命令：

     

    1
    2
    3
    存储命令： set/add/replace/append/prepend/cas
    获取命令： get/gets
    其他命令： delete/stats..

    2、Python操作Memcached

        首先在本机安装Python-memcached的模块，下载并安装，模块地址：https://pypi.python.org/pypi/python-memcached

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
    mc.set("foo", "bar")
    ret = mc.get('foo')
    print(ret)
     
    #结果：
    bar

    上面例子我们通过调用memcache模块来实现对memcached进行存取数据，debug=True表示运行中出现错误时，显示错误信息，上线后移除该参数。

     天生支持集群：

         python-memcachd模块原生支持集群操作，其原理是在内存维护一个主机列表，且集群中主机的权重值和主机在列表中重复出现的次数成正比。

     

    1
    2
    3
    4
    5
    6
    7
    8
          主机    权重
         1.1.1.1   1
         1.1.1.2   2
         1.1.1.3   1
     
    #那么在内存中主机列表为：
         
          host_list=['1.1.1.1','1.1.1.2','1.1.1.2','1.1.1.3',]

    如果用户要在内存中创建一个键值对(如：k1 = “v1”),那么要执行以下步骤：

    • 根据算法将k1转换成一个数字；

    • 将数字和主机列表长度求余数，得到一个值N(0 <= N < 列表长度)；

    • 在主机列表中根据第2步得到的值为索引获取主机，例如：host_list[N];

    • 连接将第3步中获取的主机，将k1 = 'v1'放置在该服务器的内存中。

    代码实现如下：

     

    1
    2
    3
    mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
      
    mc.set('k1', 'v1')

    add:

     添加一条键值对，如果已经存在的key，重复执行add操作会报异常。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
    mc.add('k1','v1')
    #mc.add('k1','v1')   #如果重复添加
     
     
    #重复添加的结果：
    MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
    MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'

    replace：

    replace修改某个key的值，如果key不存在，则异常。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
    mc.replace('kkkk','999')   #如果memcache中存在kkkk,则替换成功，否则报异常
     
     
    #结果：
    MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'

    set和set_multi：

    • set ：设置一个键值对，如果key不存在，则创建，如果key存在，则修改；

    • set_multi：设置多个键值对，如果key不存在，则创建，如果key存在，则修改。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    mc.set('key0','jack')
     
    mc.set_multi({'key1':'val1','key2':'val2'})

    delete和delete_multi：

    • delete：在Memcached中删除指定的一个键值对；

    • delete_multi：在Memcached中删除指定的多个键值对。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    mc.delete('key0')
     
    mc.delete_multi(['key1','key2'])

    get和get_multi：

    • get : 获取一个键值对；

    • get_multi：获取多个键值对。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    val = mc.get('key0')
    print(val)
     
    item_dict = mc.get_multi(['key1','key2'])
    print(item_dict)
     
    #结果：
    jack
    {'key1': 'val1', 'key2': 'val2'}

    append和prepend：

    • append：修改指定key的值，在该值后面追加内容；

    • prepend：修改指定key的值，在该值前面插入内容。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    mc.append('k1','after')
    val1 = mc.get('k1')
    print(val1)
     
    mc.prepend('k1','brefore')
    val2 = mc.get('k1')
    print(val2)
     
    #结果：
    v1afterafter
    breforev1afterafter

    decr和incr：

    • incr：自增，将Memcached中的某一个值增加N（N默认为1）；

    • decr：自减，将Memcached中的某一个值减少N（N默认为1）。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    mc.set('k1','777')
     
    #mc.incr('k1')        #778，默认自增1
     
    mc.incr('k1',10)
    val1 = mc.get('k1')
    print(val1)
     
    mc.decr('k1',20)
    val2 = mc.get('k1')
    print(val2)
     
    #结果
     
    787  #自增后的结果
    767  #自减后的结果

    gets和cas：

    如商城商品剩余个数，假设改值保存在memcache中，product_count =9000

        A用户刷新页面从memcache中读取到product_count = 900

        B用户刷新页面从memcache中读取到product_count = 900

     如果A、B用户均购买商品：

        A用户修改商品剩余个数 product_count = 899

        B用户修改商品剩余个数product_count = 899

     如此一来缓存内的数据便不再正确，两个用户购买商品后，商品剩余还是899，如果使用python的set和get来操作以上过程，那么程序就会如上述所示情况，数据不准确。

     如果想要避免此情况的发生，只要使用gets和cas即可，如：

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    #Author:HaiFeng Di
     
    import memcache
     
    mc = memcache.Client(['192.168.10.128:12000'], debug=True)
     
    v = mc.gets('product_count')
    print(v)
     
    #如果有人在gets之后和cas之前修改了product_count,那么下面的设置将会执行失败，抛出异常，从而避免非正常数据的产出
    v1 = mc.cas('product_count',"899")
    print(v1)
     
    #结果：
    899
    True

        本质上每次执行gets时，会从memcache中获取一个自增的数字，通过cas去修改gets的值时，会携带之前获取的自增值和memcache中的自增值进行比较，如果相等，则可以提交，如果不相等，那表示在gets和cas执行之间，又有其他人执行了gets(获取了缓冲的指定值)，如此一来有可能出现非正常数据，则不允许修改。

    在现在Nosql数据库中，有mongodb、redis、memcache，有很多人就有疑惑了，memcache是不是已经过时了，我们通过一篇文章介绍给大家memcache是不是过时了，http://www.oschina.net/news/26691/memcached-timeout

    二、Redis操作

        redis是一个key-value存储系统。和memcache类似，它支持的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortd set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持不同方式的排序。与memcache一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改写入追加的记录文件，并且在此基础上实现了master-salve(主从)同步。

    1，Redis安装和基本使用

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    wget http://download.redis.io/releases/redis-3.0.6.tar.gz
    tar -zxf redis-3.0.6.tar.gz
    make
     
    #编译安装完成后，启动后台进程
    src/redis-server &
     
     
     
    redis-cli  #进入客户端，进行操作
     
    127.0.0.1:6379> set foo bar
    OK
    127.0.0.1:6379> get foo
    "bar"
    127.0.0.1:6379>

    2，Python操作Redis

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    sudo pip install redis
    or
    sudo easy_install redis
    or
    源码安装
     
    windows下安装：python3 -m pip install redis
      
    详见：https://github.com/WoLpH/redis-py

    API使用：

        redis-py的API的使用可以分类为：

    • 连接方式

    • 连接池

    • 操作

        String操作

            Hash操作

            List操作

            Set操作

            Sort Set 操作

    • 管道

    • 发布订阅

     

     操作模式：

        redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    r = redis.Redis(host='192.168.10.128',port=6379)
     
    r.set('foo','Bar')
    print(r.get('foo'))
     
    #结果：
    b'Bar'  #取出来时二进制格式

    连接池：

        redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.set('foo','Bar')
    print(r.get('foo'))
     
    #结果：
    b'Bar'

    操作：

    1，String操作

    redis中的String在内存中按照一个name对应一哥value来存储。如下图：


    set（name,value,ex=None,px=None,nx=False,xx=False）

     

    1
    2
    3
    4
    5
    6
    在Redis中设置值，默认，不存在则创建，存在则修改。
    参数：
        ex：过期时间(秒)
        px：过期时间(毫秒)
        nx：如果设置为True，则只有naem不存在时，当前set操作才执行
        xx：如果设置为True，则只有name存在时，当前set操作才执行

    setnx(name,value)

     

    1
    设置值，只有name不存在时，执行设置操作(添加)

    setex(name,value,time)

     

    1
    2
    3
    #设置值
    #参数：
        #time，过期时间(数字秒，或者timedelta对象)

    psetex(name,time_ms,value)

     

    1
    2
    3
    # 设置值
    # 参数：
        # time_ms，过期时间（数字毫秒 或 timedelta对象）

    mset(*args,**kwargs)

     

    1
    2
    3
    4
    5
    #批量设置值
    #如：
        mset(k1='v1',k2='v2')
        或
        mset({'k1':'v1','k2':'v2'})

    get(name)

     

    1
    获取值

    mget(keys,*args)

     

    1
    2
    3
    4
    5
    #批量获取
    #例：
        mget('k1','k2')
        或
        mget(['k1','k2'])

    getset(name,value)

     

    1
    #设置新值并获取原来的值

    getrange(key,start,end)

     

    1
    2
    3
    4
    5
    6
    #获取子序列(根据字节获取，非字符)
    #参数：
         key：Redis的key值
         start：起始位置(字节)
         end：结束位置(字节)
    #如：'赵日天'，0-3表示‘赵’

    setrange(name,offset,value)

     

    1
    2
    3
    4
    #修改字符串内容，从指定字符串索引开始向后替换(新值太长时,则向后添加)
    #参数：
        offset：字符串的索引，字节(一个汉字三个字节)
        value：要设置的值

    setbit(name,offset,value)

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    #对name对应值的二进制表示的位进行操作
    #参数：
        name：redis的name
        offset：位的索引(将值变成二进制后再进行索引)
        value：值只能是1或0
     
    #如果在Redis中有一个对应：k1 ='foo'
    那么字符串foo的二进制表示为：01100110 01101111 01101111
    如果执行 setbit('n1', 7, 1)，则就会将第7位设置为1，
    那么最终二进制则变成 01100111 01101111 01101111，即："goo"

    getbit(name,offset)

     

    1
    获取name对应的二进制表示中的指定位的值(0或1)

    bitcount(key,start=None,end=None)

     

    1
    2
    3
    4
    5
    #获取name对应的值的二进制表示中1的参数
    #参数：
        # key，Redis的name
        # start，位起始位置
        # end，位结束位置

    bittop(operation,dest,*keys)

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    # 获取多个值，并将值做位运算，将最后的结果保存至新的name对应的值
      
    # 参数：
        # operation,AND（并） 、 OR（或） 、 NOT（非） 、 XOR（异或）
        # dest, 新的Redis的name
        # *keys,要查找的Redis的name
      
    # 如：
        bitop("AND", 'new_name', 'n1', 'n2', 'n3')
        # 获取Redis中n1,n2,n3对应的值，然后讲所有的值做位运算（求并集），然后将结果保存 new_name 对应的值中

    strlen(name)

     

    1
    #返回name对应值的字节长度(一个汉字3个字节)

    incr（self,name,amount=1）

     

    1
    2
    3
    4
    5
    6
    7
    #自增，name对应的值，当name不存在时，则创建name= amount，否则，则自增。
    #参数：
     
         # name,Redis的name
        # amount,自增数（必须是整数）
      
    # 注：同incrby

    incrbyfloat(self,name,amount=1.0)

     

    1
    #跟上面的用法一样，这里的amount，自增数为浮点型

    decr(self,name,amount=1)

     

    1
    2
    3
    4
    5
    #自减，name对应的值，当name不存在时，则创建name＝amount，否则，则自减。
      
    # 参数：
        # name,Redis的name
        # amount,自减数（整数）

    append(key,value)

     

    1
    2
    3
    4
    5
    #在redis name对应的值后面追加内容
    #参数：
        
        key：redis的name
        value：要追加的字符串

    2，Hash操作

        hash操作，redis中Hash在内存中的存储格式如下图：


    hset(name,key,value)

     

     

    1
    2
    3
    4
    5
    6
    7
    #name对应的hash中设置一个键值对(不存在，则创建；否则，修改)
    #参数：
        #name:redis的name
        #key:name对应的hash中的key
        #value:name对应的hash中的value
     
    #注：hsetx(name,key,value),当name对应的hash中不存在当前key则创建(相当于添加)

    hmset(name,mapping)

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    #在name对应的hash中批量设置键值对
    #参数：
         #name：redis的name
         #mapping：字典，如{'k1':'v1','k2','v2'}
     
    #例：
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
    print(r.hmget('test','k1','k2'))
     
    #结果
    [b'v1', b'v2']

     

    hget(name,key)

     

    1
    #在name对应的hash中获取根据key获取value

    hmget(name,keys,*args)

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    #在name对应的hash中获取多个key的值
    #参数：
        #name：redis对应的name
        #keys：要获取key的集合，如：['k1','k2','k3']
        #*args：要获取的key,如：k1,k2,k3
     
    #例：
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    print(r.hmget('test','k1','k2'))   #获取多个值

    hgetall(name)：获取name对应hash的所有键值

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    print(r.hgetall('test'))
     
    #结果：
    {b'k2': b'v2', b'k1': b'v1'}

    hlen(name)：获取name对应的hash中键值的个数

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    print(r.hlen('test'))
     
    #结果：
    2

    hkeys(name)：获取name对应的hash中所有的key的值

    hvals(name)：获取name对应的hash中所有的value的值

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    print(r.hkeys('test'))
    print(r.hvals('test'))
     
    #结果：
    [b'k2', b'k1']
    [b'v2', b'v1']

    hexists(name,key)：检查name对应的hash是否存在当前传入的key

    hdel(name,*keys)：将name对应的hash中指定key的键值对删除

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    print(r.exists('test'))
    print(r.hdel('test','k1'))
    print(r.hmget('test','k1','k2'))
     
    #结果：
    True
    1
    [None, b'v2']

    hincrbyfloat(name,key,amount=1.0)

     

    1
    2
    3
    4
    5
    6
    7
    8
    # 自增name对应的hash中的指定key的值，不存在则创建key=amount
      
    # 参数：
        # name，redis中的name
        # key， hash对应的key
        # amount，自增数（浮点数）
      
    # 自增name对应的hash中的指定key的值，不存在则创建key=amount

    hscan(name,cursor=0,match=None,count=None)

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    # 增量式迭代获取，对于数据大的数据非常有用，hscan可以实现分片的获取数据，并非一次性将数据全部获取完，从而放置内存被撑爆
      
    # 参数：
        # name，redis的name
        # cursor，游标（基于游标分批取获取数据）
        # match，匹配指定key，默认None 表示所有的key
        # count，每次分片最少获取个数，默认None表示采用Redis的默认分片个数
      
    # 如：
        # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
        # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
        # ...
        # 直到返回值cursor的值为0时，表示数据已经通过分片获取完毕

    hscan_iter(name,match=None,count=None)：利用yield封装hscan创建生成器，实现分批去redis中获取数据

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    # 参数：
        # match，匹配指定key，默认None 表示所有的key
        # count，每次分片最少获取个数，默认None表示采用Redis的默认分片个数
     
    #例：
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.hmset('test',{'k1':'v1','k2':'v2'})
     
    for item in r.hscan_iter('test'):
        print(item)
     
    #结果：
    (b'k1', b'v1')
    (b'k2', b'v2')


    3，List操作

    redis中的List在内存中按照一个name对应一个List来存储，如下图：

    lpush(name,values)：在name对应的list中添加元素，每个新的的元素都添加到列表的最左边

     

    1
    2
    3
    4
    5
    #如：
        r.lpush('mylist',11,22,33)   #保存顺序为：33,22,11
     
    #扩展：
       rpush(name,values)            #表示从右向左操作

    lpushx(name,value)：在name对应的list中添加元素，只有name存在时，值添加到列表的最左边

    llen(name)：name对应的list元素的个数

    linsert(name,where,refvalue,value)：在name对应的列表的某一个值前后插入一个新值

     

    1
    2
    3
    4
    5
    #参数：
        # name，redis的name
        # where，BEFORE或AFTER
        # refvalue，标杆值，即：在它前后插入数据
        # value，要插入的数据

    r.lset(name,index,value)：对name对应的list中的某一个索引位置重新赋值。

     

    1
    2
    3
    4
    # 参数：
        # name，redis的name
        # index，list的索引位置
        # value，要设置的值

    r.lrem(name,value,num):在name对应的list中删除指定的值

     

    1
    2
    3
    4
    5
    6
    # 参数：
        # name，redis的name
        # value，要删除的值
        # num，  num=0，删除列表中所有的指定值；
               # num=2,从前到后，删除2个；
               # num=-2,从后向前，删除2个

    lpop(name)：在name对应的列表的左侧获取第一个元素并在列表中移除，返回值则是第一个元素

     

    1
    #扩展： rpop(name) 表示从右向左操作

    lindex(name,index)：在name对应的列表中根据索引取列表元素

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.lpush('mylist',11,22,33)
    print(r.lindex('mylist',0))
     
    #结果：
    b'33'

    lrange(name,start,end)：在name对应的列表分片获取数据

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.lpush('mylist',11,22,33)
    print(r.lrange('mylist',0,1))
     
    #结果：
    [b'33', b'22']

    ltrim(name,start,end)：在name对应列表中移除没有在start-end索引之间的值

     

    1
    2
    3
    4
    # 参数：
        # name，redis的name
        # start，索引的起始位置
        # end，索引结束位置

    rpoplpush(src,dst)：从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    # 参数：
        # src，要取数据的列表的name
        # dst，要添加数据的列表的name
     
    #例：
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    r.lpush('mylist',11,22,33)
    print(r.rpoplpush('mylist','testlist'))

    blpop(keys,timeout)：将多个列表排列，按照从左到右去pop对应列表的元素

     

    1
    2
    3
    4
    5
    6
    # 参数：
        # keys，redis的name的集合
        # timeout，超时时间，当元素所有列表的元素获取完之后，阻塞等待列表内有数据的时间（秒）, 0 表示永远阻塞
      
    # 扩展：
        # r.brpop(keys, timeout)，从右向左获取数据

    brpoplpush(src,dst,timeout=0)：从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧

     

    1
    2
    3
    4
    # 参数：
        # src，取出并要移除元素的列表对应的name
        # dst，要插入元素的列表对应的name
        # timeout，当src对应的列表中没有数据时，阻塞等待其有数据的超时时间（秒），0 表示永远阻塞

    自定义增量迭代：

        由于redis类库没有提供对列表元素的增量迭代，如果想要循环name对应的列表的所有元素，那么就需要：

    • 获取name对应的所有列表

    • 循环列表

    但是，如果列表非常大，那么就有可能在第一步时将程序的内存撑爆，所有有必要自定义一个增量迭代的功能。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    import redis
     
    r = redis.Redis(host='192.168.10.128', port=6379)
     
    def list_iter(name):
        """
        自定义redis列表增量迭代
        :param name: redis中的name，即：迭代name对应的列表
        :return: yield 返回 列表元素
        """
        list_count = r.llen(name)
        for index in range(list_count):
            yield r.lindex(name, index)
     
    for item in list_iter('pp'):
        print(item)


    4，Set操作，set集合就是不允许重复的列表

    • sadd(name,values)：name对应的集合中添加元素

    • scard(name)：获取name对应的集合中元素个数

    • sdiff(keys,*args)：在第一个name对应的集合中，且不在其他name对应的集合的元素集合

    • sdiffstore(dest,keys,*args)：获取第一个name对应集合，且不在其他name对应的集合，再将其新加入到redis对应的集合中

    • sinter(keys,*args)：获取多一个name对应集合的并集

    • sismember(name,value)：检查value是否是name对应的集合的成员

    • smembers(name)：获取name对应的集合的所有成员

    • smove(src,dst,value)：将某个成语从一个集合中移动到另一个集合中

    • spop(name)：从集合的右侧(尾部)移除一个成员，并将其放回

    • srandmember(name,numbers)：从name对应的集合中随机获取numbers个元素

    • serm(keys,*args)：在name对应的集合中删除某些值

    • sunion(dest,keys,*atgs)：获取多一个name对应的集合的并集

    • sunionstore(dest,keys,*args)：获取多个name对应的集合的并集，并将结果保存到dest对应的集合中

    • sscan(name,cursor=0,match=None,count=None)

      sscan_iter(name,match=None,count=None) ：同字符串的操作，用于增量迭代分批获取元素，避免内存消耗太大

     

    5，有序集合

        在集合的基础上，为每个元素排序，元素的排序需要根据另外一个值进行比较，所以对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序

    •  r.zadd(name,*args,**keargs)：在name对应的有序集合中添加元素

     

    1
    2
    3
    4
    # 如：
         # zadd('zz', 'n1', 1, 'n2', 2)
         # 或
         # zadd('zz', n1=11, n2=22)

    • r.zcard(name)：获取name对应的有序集合元素的数量

    • r.zcount(name,min,max)：获取name对应的有序集合中分数，在[min,max]之间的个数

    • r.zincrby(name,value,amount)：自增name对应的有序集合的name对应的分数

    • r.zrange(name,start,end,desc=False,withscores=False,score_cast_func=float):按照索引范围获取name对应的有序集合的元素

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    # 参数：
        # name，redis的name
        # start，有序集合索引起始位置（非分数）
        # end，有序集合索引结束位置（非分数）
        # desc，排序规则，默认按照分数从小到大排序
        # withscores，是否获取元素的分数，默认只获取元素的值
        # score_cast_func，对分数进行数据转换的函数
      
    # 扩展：
        # 从大到小排序
        # zrevrange(name, start, end, withscores=False, score_cast_func=float)
      
        # 按照分数范围获取name对应的有序集合的元素
        # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
        # 从大到小排序
        # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

    • zrank(name,value)：获取某个值在name对应的有序集合中的排行(从0开始)

     

    1
    #扩展：zrevrank(name,value)  #从大到小排序

    • zrangebylex(name,min,max,start=None,num=None)

        当有序集合的所有成员都具有相同的分值时，有序集合的元素会根据成员的值(lexicographical ordering来进行排序，而这个命令则可以返回给指定的有序集合键key中，元素的值介于min和max之间的成员。

        对集合中的每个成员进行逐个字节的对比(byte-by-byte compare),并按照从低到高的顺序，返回排序后的集合成员。如果两个字符串有一部分内容时相同的话，那么这个命令会认为较长的字符串比较短的字符串要大。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    # 参数：
        # name，redis的name
        # min，左区间（值）。 + 表示正无限； - 表示负无限； ( 表示开区间； [ 则表示闭区间
        # min，右区间（值）
        # start，对结果进行分片处理，索引位置
        # num，对结果进行分片处理，索引后面的num个元素
      
    # 如：
        # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
        # r.zrangebylex('myzset', "-", "[ca") 结果为：['aa', 'ba', 'ca']
      
    # 更多：
        # 从大到小排序
        # zrevrangebylex(name, max, min, start=None, num=None)

    • zrem(name,values)：删除name对应的有序集合中值是values的成员

    • zremrangebyrank(name, min, max)：根据排行范围删除

    • zremrangebyscore(name, min, max)：根据分数范围删除

    • zremrangebylex(name, min, max)：根据值返回删除

    • zsore(name,value)：获取name对应有序集合中value对应的分数

    • zinterstore(dest, keys, aggregate=None)：获取两个有序集合的交集，如果遇到相同值不同分数，则按照aggregate进行操作(aggregate:SUM,MIN,MAX)

    • zunionstore(dest, keys, aggregate=None)：获取两个有序集合的并集，如果遇到相同值不同分数，则按照aggregate进行操作

    • zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
      zscan_iter(name, match=None, count=None,score_cast_func=float)：      同字符串相似，相较于字符串新增score_csat_func,用来对分数进行操作

    6，其他常用操作

    • delete(*names)：删除redis中的任意数据类型

    • exists(name)：检测redis的name是否存在

    • keys(pattern='*')：根据模型获取redis的name

    1
    2
    3
    4
    5
    # 扩展：
        # KEYS * 匹配数据库中所有 key 。
        # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。
        # KEYS h*llo 匹配 hllo 和 heeeeello 等。
        # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

    • expire(name,time)：为某个redis的某个name设置超时时间

    • rename(src,dst)：对redis的name重命名

    • move(name,db)：将redis的某个值移动到指定的db下

    • randomkey()：随机获取一个redis的name(不删除)

    • type(name)：获取name对应值的类型

    • scan(cursor=0, match=None, count=None)
      scan_iter(match=None, count=None) ：      同字符串操作，用于增量迭代获取key

    7,管道

        redis-py默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作。

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    #!/usr/bin/env python
    # -*- coding: utf-8 -*-
     
    import redis
     
    pool = redis.ConnectionPool(host='192.168.10.128',port=6379)
     
    r = redis.Redis(connection_pool=pool)
     
    # pipe = r.pipeline(transaction=False)
    pipe = r.pipeline(transaction=True)
     
    r.set('name', 'alex')
    r.set('role', 'sb')
    pipe.execute()

    8，发布订阅

     

     发布者：服务器

     订阅者：Dashboad和数据处理

     

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    import redis
     
    class RedisHelper:
     
        def __init__(self):
            self.__conn = redis.Redis(host='192.168.10.128')
            self.chan_sub = 'fm104.5'
            self.chan_pub = 'fm104.5'
     
        def public(self, msg):
            self.__conn.publish(self.chan_pub, msg)
            return True
     
        def subscribe(self):
            pub = self.__conn.pubsub()
            pub.subscribe(self.chan_sub)
            pub.parse_response()
            return pub

    订阅者：

    1
    2
    3
    4
    5
    6
    7
    8
    from monitor.RedisHelper import RedisHelper
     
    obj = RedisHelper()
    redis_sub = obj.subscribe()
     
    while True:
        msg= redis_sub.parse_response()
        print(msg)

    发布者：

     

    1
    2
    3
    4
    5
    6
    7
    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
      
    from monitor.RedisHelper import RedisHelper
      
    obj = RedisHelper()
    obj.public('hello')

    更多redis的操作，请参考下面链接：

    三、Python上下文管理

        上下文管理器(context manager)是Python2.5以后开始支持的一种语法，用于规定某个对象的使用范围。通常我们使用contextlib模块配合with....as.....语法使用，contextlib模块的作用是提供更易用的上下文管理器，它是通过Generator实现的。contextlib中的contextmanager作为装饰器来提供一种针对函数级别的上下文管理机制。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    import contextlib
     
    @contextlib.contextmanager
    def worker_state(state_list,wotker_thread):
        """
        用于记录线程中正在等待的线程数
        :param state_list:
        :param wotker_thread:
        :return:
        """
        state_list.append(worker_state)
        try:
            yield   #执行到yield会返回到with函数
        finally:
            state_list.remove(worker_state)
     
    free_list = []
    current_thread = 'jack'
    with worker_state(free_list,current_thread):  #会调用上面的worker_state函数
        print(123)
        print(456)
     
    #结果：
    123
    456

    ​上面是个简单的上下文管理的例子，下面我们通过上下文管理来实现自动关闭socket连接，请看下面例子：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    import contextlib
    import socket
     
    @contextlib.contextmanager
    def context_socket(host,port):             #执行顺序(2),执行此函数
        sk = socket.socket()
        sk.bind((host,port))
        sk.listen(5)
        try:        
            yield sk   #执行顺序(3),yield后面参数是将函数的返回值返回with的sock
        finally:
            sk.close() #执行顺序(5)，关闭socket连接
     
    with context_socket('127.0.0.1',8888) as sock: #执行顺序(1),调用上函数
        print(sock)                                #执行顺序(4)
     
    #结果：
    <socket.socket fd=100, family=AddressFamily.AF_INET, type=SocketKind.SOCK_STREAM, proto=0, laddr=('127.0.0.1', 8888)>

        其中，yield写入try-finally中是为了保证异常安全（能处理异常）as后的变量的值是由yield返回。yield前面的语句可看作代码块执行前操作，yield之后的操作可以看作在__exit__函数中的操作。
  • 相关阅读:
    maven POM.xml 标签详解
    Spring Boot Starter 的基本封装
    谷歌浏览器屏蔽广告的插件
    关于mysql中触发器old和new
    centos7 安装zookeeper3.4.8集群
    Flink架构、原理与部署测试
    图解Spark API
    汇编器构造
    Oracle11g CentOS7安装记录
    如何创造一门编程语言？
  • 原文地址：https://www.cnblogs.com/phennry/p/5705648.html
Copyright © 2020-2023  润新知