• python + redis


    一、连接池

      python设置redis连接池的好处

    通常情况下,需要连接redis时,会创建一个连接,基于这个连接进行redis操作,操作完成后去释放,
    正常情况下,这是没有问题的,但是并发量较高的情况下,频繁的连接创建和释放对性能会有较高的影响,于是连接池发挥作用。 
    连接池的原理:‘预先创建多个连接,当进行redis操作时,直接获取已经创建好的连接进行操作。完成后,不会释放这个连接,而是让其返回连接池,用于后续redis操作!这样避免连续创建和释放,从而提高了性能!

      简单使用

    import redis
    pool = redis.ConnectionPool(host='127.0.0.1',port=6379,password='12345')
    r = redis.Redis(connection_pool=pool)
    r.set('name','michael')
    print(r.get('name'))

      源代码分析

    pool = redis.ConnectionPool(host='127.0.0.1',port=6379,password='12345')
     
    直接点击connectionPool,进去查看源码:
     
     
     def __init__(self, connection_class=Connection, max_connections=None,
                     **connection_kwargs):
            
            max_connections = max_connections or 2 ** 31
            if not isinstance(max_connections, (int, long)) or max_connections < 0:
                raise ValueError('"max_connections" must be a positive integer')
     
            self.connection_class = connection_class
            self.connection_kwargs = connection_kwargs
            self.max_connections = max_connections
     
            self.reset()
     
    发现里面只是  设置最大的连接数,连接参数,连接的类,在实例化的时候,并没有做真实的redis连接。

    --

    r = redis.Redis(connection_pool=pool)
    点击Redis,查看内部的源码:
    在Redis实例化的时候,做了什么;
    def __init__(self, ...connection_pool=None...):
            if not connection_pool:
                ...
                connection_pool = ConnectionPool(**kwargs)
            self.connection_pool = connection_pool
    以上只保留了部分代码:
    可见:使用Redis即使不创建连接池,也会自己创建
    到这,发现还没有实际的redis真实连接

    --

    r.set('name','michael')
    
    点击set,查看内部源码:
    
    def set(self, name, value, ex=None, px=None, nx=False, xx=False):
        ...
        return self.execute_command('SET', *pieces)
    
    
    在此处发现了方法,execute_command,点击进去查看
    
        def execute_command(self, *args, **options):
            "Execute a command and return a parsed response"
            pool = self.connection_pool
            command_name = args[0]
            conn = self.connection or pool.get_connection(command_name, **options)
            try:
                conn.send_command(*args)
                return self.parse_response(conn, command_name, **options)
            except (ConnectionError, TimeoutError) as e:
                conn.disconnect()
                if not (conn.retry_on_timeout and isinstance(e, TimeoutError)):
                    raise
                conn.send_command(*args)
                return self.parse_response(conn, command_name, **options)
            finally:
                if not self.connection:
                    pool.release(conn)
    
    
    找到了conn = self.connection or pool.get_connection(command_name, **options)
    因为self.connection初始值为False,所以此处调用了方法 get_connection
    
    点击查看get_connection,
    
    
        def get_connection(self, command_name, *keys, **options):
            "Get a connection from the pool"
            self._checkpid()
            try:
                connection = self._available_connections.pop()
            except IndexError:
                connection = self.make_connection()
            self._in_use_connections.add(connection)
             。。。。。。
           
            except:  # noqa: E722
    
                self.release(connection)
                raise
    
            return connection
    
    如果有有用的连接,获取可用的连接,没有,自己创建一个 make_connection ,点击查看make_connection
    
    
        def make_connection(self):
            "Create a new connection"
            if self._created_connections >= self.max_connections:
                raise ConnectionError("Too many connections")
            self._created_connections += 1
            return self.connection_class(**self.connection_kwargs)
    
    终于,在此处创建了连接!!!
    
    
    在ConnectionPool的实例中, 有两个list, 依次是_available_connections, _in_use_connections,
    分别表示可用的连接集合和正在使用的连接集合, 在上面的get_connection中, 我们可以看到获取连接的过程是:
    
    从可用连接集合尝试获取连接,
    如果获取不到, 重新创建连接
    将获取到的连接添加到正在使用的连接集合
    
    上面是往_in_use_connections里添加连接的, 这种连接表示正在使用中, 那是什么时候将正在使用的连接放回到可用连接列表中的呢
    
    这个还是在execute_command里, 我们可以看到在执行redis操作时, 在finally部分, 会执行一下
    
    pool.release(connection)
    连接池对象调用release方法, 将连接从_in_use_connections 放回 _available_connections, 这样后续的连接获取就能再次使用这个连接了
    
    release 方法如下
    
     def release(self, connection):
            "Releases the connection back to the pool"
            self._checkpid()
            if connection.pid != self.pid:
                return
            self._in_use_connections.remove(connection)
            self._available_connections.append(connection)
    
    
    至此, 我们把连接池的管理流程走了一遍, ConnectionPool通过管理可用连接列表(_available_connections) 和 正在使用的连接列表从而实现连接池管理

    二、管道

      redis默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。

      管道(pipeline)是redis在提供单个请求中缓冲多条服务器命令的基类的子类。它通过减少服务器-客户端之间反复的TCP数据库包,从而大大提高了执行批量命令的功能。

    import redis
    import time
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    
    # pipe = r.pipeline(transaction=False)    # 默认的情况下,管道里执行的命令可以保证执行的原子性,执行pipe = r.pipeline(transaction=False)可以禁用这一特性。
    # pipe = r.pipeline(transaction=True)
    pipe = r.pipeline() # 创建一个管道
    
    pipe.set('name', 'jack')
    pipe.set('role', 'sb')
    pipe.sadd('faz', 'baz')
    pipe.incr('num')    # 如果num不存在则vaule为1,如果存在,则value自增1
    pipe.execute()
    
    print(r.get("name"))
    print(r.get("role"))
    print(r.get("num"))

      管道的命令可以写在一起,如:

    pipe.set('hello', 'redis').sadd('faz', 'baz').incr('num').execute()
    print(r.get("name"))
    print(r.get("role"))
    print(r.get("num"))

    三、常用公共操作

    1、delete(*names) - 删除

      根据删除redis中的任意数据类型(string、hash、list、set、有序set)

    r.delete("gender")  # 删除key为gender的键值对

    2、exists(name) - 检查名字是否存在

      检测redis的name是否存在,存在就是True,False 不存在

    print(r.exists("zset1"))

    3、keys(pattern='') - 模糊匹配

      根据模型获取redis的name

    更多:

    • KEYS * 匹配数据库中所有 key 。
    • KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
    • KEYS hllo 匹配 hllo 和 heeeeello 等。
    • KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
    print(r.keys("foo*"))

    4、expire(name ,time) - 设置超时时间

      为某个redis的某个name设置超时时间

    r.lpush("list5", 11, 22)
    r.expire("list5", time=3)
    print(r.lrange("list5", 0, -1))
    time.sleep(3)
    print(r.lrange("list5", 0, -1))

    5、rename(src, dst) - 重命名

      对redis的name重命名

    r.lpush("list5", 11, 22)
    r.rename("list5", "list5-1")

    6、randomkey() - 随机获取name

      随机获取一个redis的name(不删除)

    print(r.randomkey())

    7、type(name) - 获取类型

      获取name对应值的类型

    print(r.type("set1"))
    print(r.type("hash2"))

    8、查看所有元素

    scan(cursor=0, match=None, count=None)
    
    print(r.hscan("hash2"))
    print(r.sscan("set3"))
    print(r.zscan("zset2"))
    print(r.getrange("foo1", 0, -1))
    print(r.lrange("list2", 0, -1))
    print(r.smembers("set3"))
    print(r.zrange("zset3", 0, -1))
    print(r.hgetall("hash1"))

    9、查看所有元素--迭代器

    scan_iter(match=None, count=None)
    
    for i in r.hscan_iter("hash1"):
        print(i)
    
    for i in r.sscan_iter("set3"):
        print(i)
    
    for i in r.zscan_iter("zset3"):
        print(i)

    10、other 方法

    print(r.get('name'))    # 查询key为name的值
    r.delete("gender")  # 删除key为gender的键值对
    print(r.keys()) # 查询所有的Key
    print(r.dbsize())   # 当前redis包含多少条数据
    r.save()    # 执行"检查点"操作,将数据写回磁盘。保存时阻塞
    # r.flushdb()        # 清空r中的所有数据

    三、redis 基本命令 String

    set(name, value, ex=None, px=None, nx=False, xx=False)

    在 Redis 中设置值,默认,不存在则创建,存在则修改。

    参数:

    • ex - 过期时间(秒)
    • px - 过期时间(毫秒)
    • nx - 如果设置为True,则只有name不存在时,当前set操作才执行
    • xx - 如果设置为True,则只有name存在时,当前set操作才执行

    1、flushdb() - 删除数据库里所有的key

    r.flushdb()  #删除这个数据库里的所有Key

    2、keys('key') - 获取所有的key

    print(r.keys('session*')) #获取所有的只以session开头的key

    3、delete('key') - 删除

    r.delete('lrx') #删除指定的key

    4、get('key') - 获取值

    r.get('lrx') #获取key为lrx的value值

    5、set() - 创建值:(默认)不存在则创建,存在则修改。

    set(name, value, ex=None, px=None, nx=False, xx=False)
    r.set("key","value")
         ex,过期时间(秒)
         px,过期时间(毫秒)
         nx,如果设置为True,则只有name不存在时,当前set操作才执行
         xx,如果设置为True,则只有name存在时,岗前set操作才执行

    6、nx - 如果设置为True,则只有name不存在时,当前set操作才执行 (新建)。要用nx和xx的原因是因为 新增和修改都是 set,万一要新增的时候已经有key了会把原来的值修改掉

    import redis
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    print(r.set('fruit', 'watermelon', nx=True))    # True--不存在
    # 如果键fruit不存在,那么输出是True;如果键fruit已经存在,输出是None

    7、xx - 如果设置为True,则只有name存在时,当前set操作才执行 (修改)

    print((r.set('fruit', 'watermelon', xx=True)))   # True--已经存在
    # 如果键fruit已经存在,那么输出是True;如果键fruit不存在,输出是None

    8、setnx(name, value) - 设置值,只有name不存在时,执行设置操作(添加)

    print(r.setnx('fruit1', 'banana'))  # fruit1不存在,输出为True

    9、ex - 过期时间(秒) 这里过期时间是3秒,3秒后p,键food的值就变成None

    import redis
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True,password="**",db="14")     #decode_responses,字符串格式,False为字节格式
    r = redis.Redis(connection_pool=pool)
    r.set('food', 'mutton', ex=3)    # key是"food" value是"mutton" 将键值对存入redis缓存
    print(r.get('food'))  # mutton 取出键food对应的值

    10、px - 过期时间(毫秒) 这里过期时间是3毫秒,3毫秒后,键foo的值就变成None

    import redis
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    r.set('food', 'beef', px=3)
    print(r.get('food'))

    11、setex(name, time, value) - 设置值

    参数:time - 过期时间(数字秒 或 timedelta对象)

    import redis
    import time
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    r.setex("fruit2", 5, "orange")
    time.sleep(5)
    print(r.get('fruit2'))  # 5秒后,取值就从orange变成None

    12、psetex(name, time_ms, value) - 设置值

    参数:time_ms - 过期时间(数字毫秒 或 timedelta对象)

    r.psetex("fruit3", 5000, "apple")
    time.sleep(5)
    print(r.get('fruit3'))  # 5000毫秒后,取值就从apple变成None

    13、mset(*args, **kwargs) - 批量设置值

    如:

    r.mset({'k1': 'v1', 'k2': 'v2'})
    print(r.mget("k1", "k2"))   # 一次取出多个键对应的值
    print(r.mget("k1"))

    14、mget(keys, *args) - 批量获取

    如:

    print(r.mget('k1', 'k2'))
    print(r.mget(['k1', 'k2']))
    print(r.mget("fruit", "fruit1", "fruit2", "k1", "k2"))  # 将目前redis缓存中的键对应的值批量取出来

    15、getset(name, value)

    设置新值并获取原来的值

    print(r.getset("food", "barbecue"))  # 设置的新值是barbecue 设置前的值是beef

    16、getrange(key, start, end) - 获取子序列(根据字节获取,非字符)

    参数:

    • name - Redis 的 name
    • start - 起始位置(字节)
    • end - 结束位置(字节)

    如: "君惜大大" ,0-3表示 "君"

    r.set("cn_name", "君惜大大") # 汉字
    print(r.getrange("cn_name", 0, 2))   # 取索引号是0-2 前3位的字节 君 切片操作 (一个汉字3个字节 1个字母一个字节 每个字节8bit)
    print(r.getrange("cn_name", 0, -1))  # 取所有的字节 君惜大大 切片操作
    r.set("en_name","junxi") # 字母
    print(r.getrange("en_name", 0, 2))  # 取索引号是0-2 前3位的字节 jun 切片操作 (一个汉字3个字节 1个字母一个字节 每个字节8bit)
    print(r.getrange("en_name", 0, -1)) # 取所有的字节 junxi 切片操作

    17、setrange(name, offset, value)

    修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)

    参数:

    • offset - 字符串的索引,字节(一个汉字三个字节)
    • value - 要设置的值
    r.setrange("en_name", 1, "ccc")
    print(r.get("en_name"))    # jccci 原始值是junxi 从索引号是1开始替换成ccc 变成 jccci

    18、setbit(name, offset, value)

    对 name 对应值的二进制表示的位进行操作

    参数:

    • name - redis的name
    • offset - 位的索引(将值变换成二进制后再进行索引)
    • value - 值只能是 1 或 0

    注:如果在Redis中有一个对应: n1 = "foo",

    那么字符串foo的二进制表示为:01100110 01101111 01101111

    所以,如果执行 setbit('n1', 7, 1),则就会将第7位设置为1,

    那么最终二进制则变成 01100111 01101111 01101111,即:"goo"

    扩展,转换二进制表示:

    source = "陈思维"
    source = "foo"
    for i in source:
      num = ord(i)
      print bin(num).replace('b','')

    特别的,如果source是汉字 "陈思维"怎么办?

    答:对于utf-8,每一个汉字占 3 个字节,那么 "陈思维" 则有 9个字节 对于汉字,for循环时候会按照 字节 迭代,那么在迭代时,将每一个字节转换 十进制数,然后再将十进制数转换成二进制 11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000

    19、getbit(name, offset)

     获取name对应的值的二进制表示中的某位的值 (0或1)

    print(r.getbit("foo1", 0)) # 0 foo1 对应的二进制 4个字节 32位 第0位是0还是1

    20、bitcount(key, start=None, end=None)

    获取name对应的值的二进制表示中 1 的个数

    参数:

    • key - Redis的name
    • start - 字节起始位置
    • end - 字节结束位置
    print(r.get("foo"))  # goo1 01100111
    print(r.bitcount("foo",0,1))  # 11 表示前2个字节中,1出现的个数

    21、bitop(operation, dest, *keys)

     获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值

    参数:

    • operation - AND(并) 、 OR(或) 、 NOT(非) 、 XOR(异或)
    • dest - 新的Redis的name
    • *keys - 要查找的Redis的name

    如:

    bitop("AND", 'new_name', 'n1', 'n2', 'n3')

    获取Redis中n1,n2,n3对应的值,然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中

    r.set("foo","1")  # 0110001
    r.set("foo1","2")  # 0110010
    print(r.mget("foo","foo1"))  # ['goo1', 'baaanew']
    print(r.bitop("AND","new","foo","foo1"))  # "new" 0 0110000
    print(r.mget("foo","foo1","new"))
    
    source = "12"
    for i in source:
    num = ord(i)
    print(num)  # 打印每个字母字符或者汉字字符对应的ascii码值 f-102-0b100111-01100111
    print(bin(num))  # 打印每个10进制ascii码值转换成二进制的值 0b1100110(0b表示二进制)
    print bin(num).replace('b','')  # 将二进制0b1100110替换成01100110

    22、strlen(name)

     返回name对应值的字节长度(一个汉字3个字节)

    print(r.strlen("foo"))  # 4 'goo1'的长度是4

    23、incr(self, name, amount=1)

     自增 name 对应的值,当 name 不存在时,则创建 name=amount,否则,则自增。

    参数:

    • name - Redis的name
    • amount - 自增数(必须是整数)

    注:同 incrby

    r.set("foo", 123)
    print(r.mget("foo", "foo1", "foo2", "k1", "k2"))
    r.incr("foo", amount=1)
    print(r.mget("foo", "foo1", "foo2", "k1", "k2"))

    应用场景 – 页面点击数

      假定我们对一系列页面需要记录点击次数。例如论坛的每个帖子都要记录点击次数,而点击次数比回帖的次数的多得多。如果使用关系数据库来存储点击,可能存在大量的行级锁争用。所以,点击数的增加使用redis的INCR命令最好不过了。

      当redis服务器启动时,可以从关系数据库读入点击数的初始值(12306这个页面被访问了34634次)

    r.set("visit:12306:totals", 34634)
    print(r.get("visit:12306:totals"))

      每当有一个页面点击,则使用INCR增加点击数即可。

    r.incr("visit:12306:totals")
    r.incr("visit:12306:totals")

      页面载入的时候则可直接获取这个值

    print(r.get("visit:12306:totals"))

    24、incrbyfloat(self, name, amount=1.0)

    自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。

    参数:

    • name - Redis的name
    • amount - 自增数(浮点型)
    r.set("foo1", "123.0")
    r.set("foo2", "221.0")
    print(r.mget("foo1", "foo2"))
    r.incrbyfloat("foo1", amount=2.0)
    r.incrbyfloat("foo2", amount=3.0)
    print(r.mget("foo1", "foo2"))

    25、decr(self, name, amount=1)

    自减 name 对应的值,当 name 不存在时,则创建 name=amount,否则,则自减。

    参数:

    • name - Redis的name
    • amount - 自减数(整数)
    r.decr("foo4", amount=3) # 递减3
    r.decr("foo1", amount=1) # 递减1
    print(r.mget("foo1", "foo4"))

    26、append(key, value)

    在redis name对应的值后面追加内容

    参数:

    • key - redis的name
    • value - 要追加的字符串
    r.append("name", "haha")    # 在name对应的值junxi后面追加字符串haha
    print(r.mget("name"))

    四、redis 基本命令 hash

    1、hset(name, key, value) - 单个增加、修改

    name对应的hash中设置一个键值对(不存在,则创建;否则,修改)

    参数:

    • name - redis的name
    • key - name对应的hash中的key
    • value - name对应的hash中的value

    注:hsetnx(name, key, value) 当name对应的hash中不存在当前key时则创建(相当于添加)

    import redis
    import time
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    
    r.hset("hash1", "k1", "v1")
    r.hset("hash1", "k2", "v2")
    print(r.hkeys("hash1")) # 取hash中所有的key
    print(r.hget("hash1", "k1"))    # 单个取hash的key对应的值
    print(r.hmget("hash1", "k1", "k2")) # 多个取hash的key对应的值
    r.hsetnx("hash1", "k2", "v3") # 只能新建
    print(r.hget("hash1", "k2"))

    2、hmset(name, mapping) - 批量增加(取出)

    在name对应的hash中批量设置键值对

    参数:

    • name - redis的name
    • mapping - 字典,如:{'k1':'v1', 'k2': 'v2'}

    如:

    r.hmset("hash2", {"k2": "v2", "k3": "v3"})
    hget(name,key)

    3、hget(name, key) - 获取值

    r.hget("hash2", "key")

    4、hget(name,key1,key2) - 批量获取,在name对应的hash中获取多个key的值

    参数:

    • name - reids对应的name
    • keys - 要获取key集合,如:['k1', 'k2', 'k3']
    • *args - 要获取的key,如:k1,k2,k3
    print(r.hget("hash2", "k2"))  # 单个取出"hash2"的key-k2对应的value
    print(r.hmget("hash2", "k2", "k3"))  # 批量取出"hash2"的key-k2 k3对应的value --方式1
    print(r.hmget("hash2", ["k2", "k3"]))  # 批量取出"hash2"的key-k2 k3对应的value --方式2

    5、hgetall(name) - 取出所有的键值对

      获取name对应hash的所有键值

    print(r.hgetall("hash1"))

    6、hlen(name) - 得到所有键值对的格式 hash长度

      获取name对应的hash中键值对的个数

    print(r.hlen("hash1"))

    7、hkeys(name) - 得到所有的keys(类似字典的取所有keys)

      获取name对应的hash中所有的key的值

    print(r.hkeys("hash1"))

    8、hvals(name) - 得到所有的value(类似字典的取所有value)

      获取name对应的hash中所有的value的值

    print(r.hvals("hash1"))

    9、hexists(name, key) - 判断成员是否存在(类似字典的in)

      检查 name 对应的 hash 是否存在当前传入的 key

    print(r.hexists("hash1", "k4"))  # False 不存在
    print(r.hexists("hash1", "k1"))  # True 存在

    10、hdel(name,*keys) - 删除键值对

      将name对应的hash中指定key的键值对删除

    print(r.hgetall("hash1"))
    r.hset("hash1", "k2", "v222")   # 修改已有的key k2
    r.hset("hash1", "k11", "v1")   # 新增键值对 k11
    r.hdel("hash1", "k1")    # 删除一个键值对
    print(r.hgetall("hash1"))

    11、hincrby(name, key, amount=1) - 自增自减整数(将key对应的value--整数 自增1或者2,或者别的整数 负数就是自减)

      自增name对应的hash中的指定key的值,不存在则创建key=amount

    参数:

    • name - redis中的name
    • key - hash对应的key
    • amount - 自增数(整数)
    r.hset("hash1", "k3", 123)
    r.hincrby("hash1", "k3", amount=-1)
    print(r.hgetall("hash1"))
    r.hincrby("hash1", "k4", amount=1)  # 不存在的话,value默认就是1
    print(r.hgetall("hash1"))

    12、hincrbyfloat(name, key, amount=1.0) - 自增自减浮点数(将key对应的value--浮点数 自增1.0或者2.0,或者别的浮点数 负数就是自减)

    自增name对应的hash中的指定key的值,不存在则创建key=amount

    参数:

    • name - redis中的name
    • key - hash对应的key
    • amount,自增数(浮点数)

    自增 name 对应的 hash 中的指定 key 的值,不存在则创建 key=amount。

    r.hset("hash1", "k5", "1.0")
    r.hincrbyfloat("hash1", "k5", amount=-1.0)    # 已经存在,递减-1.0
    print(r.hgetall("hash1"))
    r.hincrbyfloat("hash1", "k6", amount=-1.0)    # 不存在,value初始值是-1.0 每次递减1.0
    print(r.hgetall("hash1"))

    13、hscan(name, cursor=0, match=None, count=None) - 取值查看--分片读取

      增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆

    参数:

    • name - redis的name
    • cursor - 游标(基于游标分批取获取数据)
    • match - 匹配指定key,默认None 表示所有的key
    • count - 每次分片最少获取个数,默认None表示采用Redis的默认分片个数
    第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    ...

      直到返回值cursor的值为0时,表示数据已经通过分片获取完毕

    print(r.hscan("hash1"))

    14、hscan_iter(name, match=None, count=None)

    利用yield封装hscan创建生成器,实现分批去redis中获取数据

    参数:

    • match - 匹配指定key,默认None 表示所有的key
    • count - 每次分片最少获取个数,默认None表示采用Redis的默认分片个数
    for item in r.hscan_iter('hash1'):
        print(item)
    print(r.hscan_iter("hash1"))    # 生成器内存地址

    五、redis基本命令 list

    1.plush(name,values) - 增加(类似于list的append,只是这里是从左边新增加)--没有就新建

      在name对应的list中添加元素,每个新的元素都添加到列表的最左边

    import redis
    import time
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    
    r.lpush("list1", 11, 22, 33)
    print(r.lrange('list1', 0, -1))

    保存顺序为: 33,22,11

    扩展:

    r.rpush("list2", 11, 22, 33)  # 表示从右向左操作
    print(r.llen("list2"))  # 列表长度
    print(r.lrange("list2", 0, 3))  # 切片取出值,范围是索引号0-3

    2.rpush - 增加(从右边增加)--没有就新建

    r.rpush("list2", 44, 55, 66)    # 在列表的右边,依次添加44,55,66
    print(r.llen("list2"))  # 列表长度
    print(r.lrange("list2", 0, -1)) # 切片取出值,范围是索引号0到-1(最后一个元素)

    3.lpushx(name,value) - 往已经有的name的列表的左边添加元素,没有的话无法创建

      在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边

    更多:

    r.lpushx("list10", 10)   # 这里list10不存在
    print(r.llen("list10"))  # 0
    print(r.lrange("list10", 0, -1))  # []
    r.lpushx("list2", 77)   # 这里"list2"之前已经存在,往列表最左边添加一个元素,一次只能添加一个
    print(r.llen("list2"))  # 列表长度
    print(r.lrange("list2", 0, -1)) # 切片取出值,范围是索引号0到-1(最后一个元素

    4.rpushx - 往已经有的name的列表的右边添加元素,没有的话无法创建

    r.rpushx("list2", 99)   # 这里"foo_list1"之前已经存在,往列表最右边添加一个元素,一次只能添加一个
    print(r.llen("list2"))  # 列表长度
    print(r.lrange("list2", 0, -1)) # 切片取出值,范围是索引号0到-1(最后一个元素)

    5.linsert - 新增(固定索引号位置插入元素)

    在name对应的列表的某一个值前或后插入一个新值

    参数:

    • name - redis的name
    • where - BEFORE或AFTER
    • refvalue - 标杆值,即:在它前后插入数据
    • value - 要插入的数据
    r.linsert("list2", "before", "11", "00")   # 往列表中左边第一个出现的元素"11"前插入元素"00"
    print(r.lrange("list2", 0, -1))   # 切片取出值,范围是索引号0-最后一个元素

    6.lset(name, index, value) - 修改(指定索引号进行修改)

    对name对应的list中的某一个索引位置重新赋值

    参数:

    • name - redis的name
    • index - list的索引位置
    • value - 要设置的值
    r.lset("list2", 0, -11)    # 把索引号是0的元素修改成-11
    print(r.lrange("list2", 0, -1))

    7.lrem(name, value, num) - 删除(指定值进行删除)

    在name对应的list中删除指定的值

    参数:

    • name - redis的name
    • value - 要删除的值
    • num - num=0,删除列表中所有的指定值;
    • num=2 - 从前到后,删除2个, num=1,从前到后,删除左边第1个
    • num=-2 - 从后向前,删除2个
    r.lrem("list2", "11", 1)    # 将列表中左边第一次出现的"11"删除
    print(r.lrange("list2", 0, -1))
    r.lrem("list2", "99", -1)    # 将列表中右边第一次出现的"99"删除
    print(r.lrange("list2", 0, -1))
    r.lrem("list2", "22", 0)    # 将列表中所有的"22"删除
    print(r.lrange("list2", 0, -1))

    8. lpop(name) - 删除并返回

    在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素

    更多:

    rpop(name) 表示从右向左操作

    r.lpop("list2")    # 删除列表最左边的元素,并且返回删除的元素
    print(r.lrange("list2", 0, -1))
    r.rpop("list2")    # 删除列表最右边的元素,并且返回删除的元素
    print(r.lrange("list2", 0, -1))

    9.ltrim(name, start, end) - 删除索引之外的值

    在name对应的列表中移除没有在start-end索引之间的值

    参数:

    • name - redis的name
    • start - 索引的起始位置
    • end - 索引结束位置
    r.ltrim("list2", 0, 2)    # 删除索引号是0-2之外的元素,值保留索引号是0-2的元素
    print(r.lrange("list2", 0, -1))

    10.lindex(name, index) - 取值(根据索引号取值)

    在name对应的列表中根据索引获取列表元素

    print(r.lindex("list2", 0))  # 取出索引号是0的值

    11.rpoplpush(src, dst) - 移动 元素从一个列表移动到另外一个列表

    从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边

    参数:

    • src - 要取数据的列表的 name
    • dst - 要添加数据的列表的 name
    r.rpoplpush("list1", "list2")
    print(r.lrange("list2", 0, -1))

    12.brpoplpush(src, dst, timeout=0) - 移动 元素从一个列表移动到另外一个列表 可以设置超时

    从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧

    参数:

    • src - 取出并要移除元素的列表对应的name
    • dst - 要插入元素的列表对应的name
    • timeout - 当src对应的列表中没有数据时,阻塞等待其有数据的超时时间(秒),0 表示永远阻塞
    r.brpoplpush("list1", "list2", timeout=2)
    print(r.lrange("list2", 0, -1))

    13.blpop(keys, timeout) - 一次移除多个列表

    将多个列表排列,按照从左到右去pop对应列表的元素

    参数:

    • keys - redis的name的集合
    • timeout - 超时时间,当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞

    更多:r.brpop(keys, timeout) 同 blpop,将多个列表排列,按照从右向左去移除各个列表内的元素

    r.lpush("list10", 3, 4, 5)
    r.lpush("list11", 3, 4, 5)
    while True:
        r.blpop(["list10", "list11"], timeout=2)
        print(r.lrange("list10", 0, -1), r.lrange("list11", 0, -1))
    14.自定义增量迭代

      由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要获取name对应的所有列表。

      但是,如果列表非常大,那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:

    def list_iter(name):
        """
        自定义redis列表增量迭代
        :param name: redis中的name,即:迭代name对应的列表
        :return: yield 返回 列表元素
        """
        list_count = r.llen(name)
        for index in range(list_count):
            yield r.lindex(name, index)
    
    # 使用
    for item in list_iter('list2'): # 遍历这个列表
        print(item)

    六、redis基本命令 set

    1.sadd(name,values) - 新增

    name - 对应的集合中添加元素

    r.sadd("set1", 33, 44, 55, 66)  # 往集合中添加元素
    print(r.scard("set1"))  # 集合的长度是4
    print(r.smembers("set1"))   # 获取集合中所有的成员

    2.scard(name) - 获取元素个数 类似于len

    获取name对应的集合中元素个数

    print(r.scard("set1"))  # 集合的长度是4

    3.smembers(name) - 获取集合中所有的成员

    获取name对应的集合的所有成员

    print(r.smembers("set1"))   # 获取集合中所有的成员

    获取集合中所有的成员--元组形式

    sscan(name, cursor=0, match=None, count=None)

    实例:

    print(r.sscan("set1"))

    获取集合中所有的成员--迭代器的方式

    sscan_iter(name, match=None, count=None)

    同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大

    for i in r.sscan_iter("set1"):
        print(i)

    4.sdiff(keys, *args) - 差集

    在第一个name对应的集合中且不在其他name对应的集合的元素集合

    r.sadd("set2", 11, 22, 33)
    print(r.smembers("set1"))   # 获取集合中所有的成员
    print(r.smembers("set2"))
    print(r.sdiff("set1", "set2"))   # 在集合set1但是不在集合set2中
    print(r.sdiff("set2", "set1"))   # 在集合set2但是不在集合set1中

    5.sdiffstore(dest, keys, *args) - 差集--差集存在一个新的集合中

    获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中

    r.sdiffstore("set3", "set1", "set2")    # 在集合set1但是不在集合set2中
    print(r.smembers("set3"))   # 获取集合3中所有的成员

    6.sinter(keys, *args)交集

    获取多一个name对应集合的交集

    print(r.sinter("set1", "set2")) # 取2个集合的交集

    7.sinterstore(dest, keys, *args) - 交集--交集存在一个新的集合中

    获取多一个name对应集合的并集,再将其加入到dest对应的集合中

    print(r.sinterstore("set3", "set1", "set2")) # 取2个集合的交集
    print(r.smembers("set3"))

    并集

    sunion(keys, *args)

    获取多个name对应的集合的并集

    print(r.sunion("set1", "set2")) # 取2个集合的并集

    并集--并集存在一个新的集合

    sunionstore(dest,keys, *args)

    获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中

    print(r.sunionstore("set3", "set1", "set2")) # 取2个集合的并集
    print(r.smembers("set3"))

    8.sismember(name, value) - 判断是否是集合的成员 类似in

      检查value是否是name对应的集合的成员,结果为True和False

    print(r.sismember("set1", 33))  # 33是集合的成员
    print(r.sismember("set1", 23))  # 23不是集合的成员

    9.smove(src, dst, value) - 移动

      将某个成员从一个集合中移动到另外一个集合

    r.smove("set1", "set2", 44)
    print(r.smembers("set1"))
    print(r.smembers("set2"))

    10.spop(name) - 删除--随机删除并且返回被删除值

    从集合移除一个成员,并将其返回,说明一下,集合是无序的,所有是随机删除的

    print(r.spop("set2"))   # 这个删除的值是随机删除的,集合是无序的
    print(r.smembers("set2"))

    11.srem(name, values) - 删除--指定值删除

    在name对应的集合中删除某些值

    print(r.srem("set2", 11))   # 从集合中删除指定值 11
    print(r.smembers("set2"))

    七、redis基本命令 有序set

    Set操作,Set集合就是不允许重复的列表,本身是无序的。

    有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。

    1.zadd(name, *args, **kwargs) - 新增

    在name对应的有序集合中添加元素

    如:

    import redis
    import time
    
    pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    r = redis.Redis(connection_pool=pool)
    
    r.zadd("zset1", n1=11, n2=22)
    r.zadd("zset2", 'm1', 22, 'm2', 44)
    print(r.zcard("zset1")) # 集合长度
    print(r.zcard("zset2")) # 集合长度
    print(r.zrange("zset1", 0, -1))   # 获取有序集合中所有元素
    print(r.zrange("zset2", 0, -1, withscores=True))   # 获取有序集合中所有元素和分数

    2.zcard(name) - 获取有序集合元素个数 类似于len

    获取name对应的有序集合元素的数量

    print(r.zcard("zset1")) # 集合长度

    3.获取有序集合的所有元素

    r.zrange( name, start,end, desc=False, withscores=False, score_cast_func=float)

    按照索引范围获取name对应的有序集合的元素

    参数:

    • name - redis的name
    • start - 有序集合索引起始位置(非分数)
    • end - 有序集合索引结束位置(非分数)
    • desc - 排序规则,默认按照分数从小到大排序
    • withscores - 是否获取元素的分数,默认只获取元素的值
    • score_cast_func - 对分数进行数据转换的函数

    3-1 从大到小排序(同zrange,集合是从大到小排序的)

    zrevrange(name, start, end, withscores=False, score_cast_func=float)

    实例

    print(r.zrevrange("zset1", 0, -1))    # 只获取元素,不显示分数
    print(r.zrevrange("zset1", 0, -1, withscores=True)) # 获取有序集合中所有元素和分数,分数倒序

    3-2 按照分数范围获取name对应的有序集合的元素

    zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)

    实例

    for i in range(1, 30):
       element = 'n' + str(i)
       r.zadd("zset3", element, i)
    print(r.zrangebyscore("zset3", 15, 25)) # # 在分数是15-25之间,取出符合条件的元素
    print(r.zrangebyscore("zset3", 12, 22, withscores=True))    # 在分数是12-22之间,取出符合条件的元素(带分数)

    3-3 按照分数范围获取有序集合的元素并排序(默认从大到小排序)

    zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

    实例

    print(r.zrevrangebyscore("zset3",22,11, withscores=True))# 在分数是22-11之间,取出符合条件的元素 按照分数倒序

    3-4 获取所有元素--默认按照分数顺序排序

    zscan(name, cursor=0, match=None, count=None, score_cast_func=float)

    实例

    print(r.zscan("zset3"))

    3-5 获取所有元素--迭代器

    zscan_iter(name, match=None, count=None,score_cast_func=float)

    实例

    for i in r.zscan_iter("zset3"):# 遍历迭代器print(i)

    4.zcount(name, min, max)

    获取name对应的有序集合中分数 在 [min,max] 之间的个数

    print(r.zrange("zset3",0,-1, withscores=True))print(r.zcount("zset3",11,22))

    5.zincrby(name, value, amount)自增

    自增name对应的有序集合的 name 对应的分数

    r.zincrby("zset3","n2", amount=2)# 每次将n2的分数自增2print(r.zrange("zset3",0,-1, withscores=True))
    6.zrank(name, value)获取值的索引号

    获取某个值在 name对应的有序集合中的索引(从 0 开始)

    更多:

    zrevrank(name, value),从大到小排序。

    print(r.zrank("zset3", "n1"))   # n1的索引号是0 这里按照分数顺序(从小到大)
    print(r.zrank("zset3", "n6"))   # n6的索引号是1
    
    print(r.zrevrank("zset3", "n1"))    # n1的索引号是29 这里安照分数倒序(从大到小)
    7.zrem(name, values) - 删除--指定值删除

    删除name对应的有序集合中值是values的成员

    r.zrem("zset3", "n3")   # 删除有序集合中的元素n3 删除单个
    print(r.zrange("zset3", 0, -1))

    8.zremrangebyrank(name, min, max) - 删除--根据排行范围删除,按照索引号来删除

    根据排行范围删除

    r.zremrangebyrank("zset3",0,1)# 删除有序集合中的索引号是0, 1的元素print(r.zrange("zset3",0,-1))

    9.zremrangebyscore(name, min, max) - 删除--根据分数范围删除

    根据分数范围删除

    r.zremrangebyscore("zset3", 11, 22)   # 删除有序集合中的分数是11-22的元素
    print(r.zrange("zset3", 0, -1))

    10.zscore(name, value) - 获取值对应的分数

    获取name对应有序集合中 value 对应的分数

    print(r.zscore("zset3", "n27"))   # 获取元素n27对应的分数27 
     
    redis面试:https://www.cnblogs.com/changwenjun-666/p/11388154.html
  • 相关阅读:
    重新安装AD RMS
    Exp00009错误解決
    AD RMS 问题解决 事件ID:139
    如何破解微软的正版增值烦恼
    如何批量更改帐号的属性
    ORA31694,原来是文件有问题
    Standby异常解决
    ASP.NET 常用网站
    .NET C#读取Excel内容
    AD Usre lastLogon Time
  • 原文地址:https://www.cnblogs.com/dongye95/p/13232212.html
Copyright © 2020-2023  润新知