Redis基本使用

一、简介

redis是一个key-value存储系统。和Memcached（多线程，支持的数据类型少：只支持字符串类型，不支持持久化）类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。

这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。

区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步

二、redis五大数据类型

只支持一层的5大数据类型：也就是说字典的value值只能是字符串，列表的value值只能是字符串

 

redis={
        k1:'123',         　　　　　　　　字符串
        k2:[1,2,3,4],     　　　　　　　　列表/数组
        k3:{1,2,3,4}      　　　　　　　　集合
        k4:{name:lqz,age:12}           字典/哈希表
        k5:{('lqz',18),('egon',33)}    有序集合

特点：
    可以持久化
    单线程，单进程

三、python操作redis

安装redis模块：pip3 install redis

1、普通连接

from redis import Redis
# Redis实例化产生对象，是拿到一个redis的连接
conn = Redis()
res = conn.get('name')
print(res)  # 操作redis(value部分都是以byte格式存储) b'egon'

2、连接池

from redis import ConnectionPool
# pool需要做成单例
pool = ConnectionPool(host='127.0.0.1', port=6379, max_connections=100)
conn = Redis(connection_pool=pool)

 

四、字符串操作

 String操作，redis中的String在在内存中按照一个name对应一个value来存储。如图：

①set(name, value, ex=None, px=None, nx=False, xx=False)与get(name)

set：在Redis中设置值，默认，不存在则创建，存在则修改
     ex：过期时间（秒）
     px：过期时间（毫秒）
     nx：如果设置为True，则只有name不存在时，当前set操作才执行,值存在，就修改不了，执行没效果
     xx：如果设置为True，则只有name存在时，当前set操作才执行，值存在才能修改，值不存在，不会设置新值

get：获取值

from redis import Redis
# Redis实例化产生对象，是拿到一个redis的连接
conn = Redis()

conn.set('name', 'lqz', ex=5, xx=True)
print(conn.get('name'))   # b'lqz'

②mset(*args, **kwargs)与mget(keys, *args)

批量设置值：mset(k1='v1', k2='v2')或mget({'k1': 'v1', 'k2': 'v2'})

批量获取值：mget('k1', 'k2')或mget(['k3', 'k4'])

conn.mset({'k1': 'v1', 'k2': 'v2'}) 
print(conn.mget(['k1', 'k2'])) # [b'v1', b'v2'] 
print(conn.mget('k1', 'k2'))   # [b'v1', b'v2']

③getrange(key, start, end)

获取子序列（根据字节获取，非字符）
参数：
    name：Redis 的 name
    start：起始位置（字节）
    end：结束位置（字节）
如： "刘清政" ，0-3表示 "刘"

print(conn.getrange('k1', 0, 1))

④setrange(name, offset, value)

修改字符串内容，从指定字符串索引开始向后替换（新值太长时，则向后添加）
参数：
    offset：字符串的索引，字节（一个汉字三个字节）
    value：要设置的值

conn.setrange('k1',1,'pp')

⑤incr(name, amount=1) 重点（应用场景:网站访问量）

自增 name对应的值，当name不存在时，则创建name＝amount，否则，则自增。
参数：
    name：Redis的name
    amount：自增数（必须是整数）
 
# 注：同incrby

⑥decr(name, amount=1)

自减 name对应的值，当name不存在时，则创建name＝amount，否则，则自减。
参数：
    name：Redis的name
    amount：自减数（整数）

⑦append(key, value)

在redis name对应的值后面追加内容
参数：
    key:redis的name
    value:要追加的字符串

⑧strlen(name)

返回name对应值的字节长度（一个汉字3个字节，一个字母一个字节）

 

五、hash(字典)操作

Hash操作，redis中Hash在内存中的存储格式如下图：

①hset(name, key, value)

name对应的hash中设置一个键值对（不存在，则创建；否则，修改）
参数：
    name，redis的name
    key，name对应的hash中的key
    value，name对应的hash中的value
conn.hset('hash1', 'k1', 'v1')

②hmset(name, mapping)

在name对应的hash中批量设置键值对
参数：
    name，redis的name
    mapping，字典，如：{'k1':'v1', 'k2': 'v2'}
conn.hmset('hash2', {'name': 'qlz', 'age': 18})

③hget(name,key)

在name对应的hash中获取根据key获取value
print(conn.hget('hash1', 'k1'))  # b'v1'

④hmget(name, keys, *args)

在name对应的hash中获取多个key的值
参数：
    name，reids对应的name
    keys，要获取key集合，如：['k1', 'k2', 'k3']
    *args，要获取的key，如：k1,k2,k3
 
print(conn.hmget('hash2', ['name', 'age']))  # [b'qlz', b'18']
print(conn.hmget('hash2', 'name', 'age'))    # [b'qlz', b'18']

⑤hgetall(name)

获取name对应hash的所有键值
print(conn.hgetall('hash2').get(b'name'))

⑥hlen(name)

获取name对应的hash中键值对的个数
print(conn.hlen('hash1'))

⑦hkeys(name)

获取name对应的hash中所有的key的值

⑧hvals(name)

获取name对应的hash中所有的value的值

⑨hexists(name, key)

检查name对应的hash是否存在当前传入的key

⑩hdel(name,*keys)

将name对应的hash中指定key的键值对删除
print(conn.hdel('hash1','age'))

hincrby(name, key, amount=1)

自增name对应的hash中的指定key的值，不存在创建key=amount
参数：
    name：redis中的name
    key：hash对应的key
    amount：自增数（整数）

hincrbyfloat(name, key, amount=1.0)

自增name对应的hash中的指定key的值，不存在则创建key=amount
参数：
    name：redis中的name
    key：hash对应的key
    amount：自增数（浮点数）
 
自增name对应的hash中的指定key的值，不存在则创建key=amount

 

重点：

hscan(name, cursor=0, match=None, count=None)

增量式迭代获取，对于数据大的数据非常有用，hscan可以实现分片的获取数据，并非一次性将数据全部获取完，从而放置内存被撑爆
参数：
    name：redis的name
    cursor：游标（基于游标分批取获取数据）
    match：匹配指定key，默认None 表示所有的key
    count：每次分片最少获取个数，默认None表示采用Redis的默认分片个数
如：
    第一次：cursor1：data1 = conn.hscan('hash3', cursor=0, match=None, count=100)
    第二次：cursor2, data1 = conn.hscan('hash3', cursor=cursor1, match=None, count=100)
    ...
    直到返回值cursor的值为0时，表示数据已经通过分片获取完毕

for i in range(10000):
    conn.hset('hash3', 'key%s' % i, 'value%s' % i)
print(conn.hscan('hash3', 0, count=100))
print(conn.hscan('hash3', 1206, count=100))

hscan_iter(name, match=None, count=None)

利用yield封装hscan创建生成器，实现分批去redis中获取数据 
参数：
    match：匹配指定key，默认None 表示所有的key
    count：每次分片最少获取个数，默认None表示采用Redis的默认分片个数

for i in range(1000):
    conn.hset('hash3', 'key%s' % i, 'value%s' % i)
for i in conn.hscan_iter('hash3'):   # hscan_iter:获取字典所有数据的时候，推荐用这个，而不用hgetall
　　print(i)

六、列表操作

 List操作，redis中的List在在内存中按照一个name对应一个List来存储。如图：

lpush(name,values)

在name对应的list中添加元素，每个新的元素都添加到列表的最左边
conn.lpush('oo', 11,22,33) # 保存顺序为: 33,22,11
 
扩展：conn.rpush(name, values) 表示从右向左操作

lpushx(name,value)

在name对应的list中添加元素，只有name已经存在时，值添加到列表的最左边
更多：rpushx(name, value) 表示从右向左操作

llen(name)

name对应的list元素的个数

linsert(name, where, refvalue, value))

在name对应的列表的某一个值前或后插入一个新值

参数：
    name:redis的name
    where:BEFORE或AFTER(小写也可以)
    refvalue:标杆值，即：在它前后插入数据（如果存在多个标杆值，以找到的第一个为准）
    value:要插入的数据

lset(name, index, value)

对name对应的list中的某一个索引位置重新赋值

参数：
    name:redis的name
    index:list的索引位置  # 从0开始
　　 value:要设置的值
conn.lset('list1','4',123)

lpop(name)

在name对应的列表的左侧获取第一个元素并在列表中移除，返回值则是第一个元素
更多：print(conn.rpop(name)) 表示从右向左操作

lindex(name, index)

在name对应的列表中根据索引获取列表元素

lrange(name, start, end)

在name对应的列表分片获取数据
参数：
   name:redis的name
   start:索引的起始位置
   end:索引结束位置  print(conn.lrange('list1',1,3))  # 1,3 前后都是闭区间

blpop(keys, timeout)  重点

将多个列表排列，按照从左到右去pop对应列表的元素
参数：
    keys：redis的name的集合
    timeout：超时时间，当元素所有列表的元素获取完之后，阻塞等待列表内有数据的时间（秒）, 0 表示永远阻塞
 
更多：conn.brpop(keys, timeout)，从右向左获取数据
爬虫实现简单分布式：多个url放到列表里，往里不停放URL，程序循环取值，但是只能一台机器运行取值，可以把url放到redis中，多台机器从redis中取值，爬取数据，实现简单分布式

rpoplpush(src, dst)

从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边
参数：
    src:要取数据的列表的name
    dst:要添加数据的列表的name

brpoplpush(src, dst, timeout=0)

从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧
 
参数：
    src:取出并要移除元素的列表对应的name
    dst:要插入元素的列表对应的name
    timeout:当src对应的列表中没有数据时，阻塞等待其有数据的超时时间（秒），0 表示永远阻塞

获取列表中所有值

由于redis类库中没有提供对列表元素的增量迭代，如果想要循环name对应的列表的所有元素，那么就需要：
    1、获取name对应的所有列表
    2、循环列表
但是，如果列表非常大，那么就有可能在第一步时就将程序的内容撑爆，所有有必要自定义一个增量迭代的功能：


from redis import Redis
# Redis实例化产生对象，是拿到一个redis的连接
conn = Redis()
for i in range(1000):
    conn.lpush('list1', i)

def scan_list(name, count=10):
    index = 0
    while True:
        data_list = conn.lrange(name, index, count + index - 1)
        if not data_list:
            return
        index += count
        for item in data_list:
            yield item

print(conn.lrange('list1', 0, 100))  # 取出100条
print('------')
for item in scan_list('list1', 5):   # 取出所有
    print(item)

七、其他操作

delete(name)

根据删除redis中的任意数据类型
conn.delete('age')

exists(name)

判断redis的name是否存在
print(conn.exists('k1'))   # 存在返回1，不存在返回0

keys(pattern='*')   重要

根据模型获取redis的name
 
更多：
    KEYS * 匹配数据库中所有 key 。
    KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。
    KEYS h*llo 匹配 hllo 和 heeeeello 等。
    KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo 

expire(name ,time)

为某个redis的某个name设置超时时间

rename(src, dst)

对redis的name重命名为
conn.rename('hash1','xxx')

type(name)

获取name对应值的类型
print(conn.type('list1'))

八、事务：管道实现事务

 原理：打包去执行，要么都执行，要么都不执行

from redis import Redis

conn=Redis()

pipe = conn.pipeline(transaction=True)
pipe.multi()
pipe.set('name', 'alex')
pipe.set('role', 'sb')

pipe.execute()

九、django中使用redis

 1、所有框架都能用的方式：

①先新建一个py文件，生成一个redis连接池

redis_pool.py

from redis import ConnectionPool
POOL = ConnectionPool(host='127.0.0.1', port=6379, max_connections=100)

②在哪用，导过来

views.py

from app01.redis_pool import POOL
from redis import Redis

def index(request):
    conn = Redis(connection_pool=POOL)
    conn.set('xxx', 'yyy')   # 设置值
    age = conn.get('age')    # 取值
    return HttpResponse(age) 

2、django中使用：django-redis模块

①首先在settings里配置

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "CONNECTION_POOL_KWARGS": {"max_connections": 100}
            # "PASSWORD": "123",   # 有密码就设置
        }
    }
}

②视图函数中

from django_redis import get_redis_connection

def index(request):
    conn = get_redis_connection()
    conn.set('111', '222')
    age = conn.get('age')
    return HttpResponse(age)

十、需求：统计网站访问量

定义一个中间件MyMiddle.py

from django.utils.deprecation import MiddlewareMixin
from django_redis import get_redis_connection


class VisitCount(MiddlewareMixin):
    def process_request(self, request):
        conn = get_redis_connection()
        conn.incr('visit_count')

这个中间件要注册在settings里

视图函数中views.py

from django_redis import get_redis_connection

def index(request):
    conn = get_redis_connection()
    count = conn.get('visit_count')
    return render(request, 'index.html', {'count': count})

index.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>

</head>
<body>

网站访问量:{{ count }}

</body>
</html>

前端展示