Redis 教程
Redis数据库教程详见:http://www.runoob.com/redis/redis-tutorial.html
REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。
Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
它通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。
谁适合阅读本教程?
本教程是为专业的程序开发人员,通过本教程你可以一步一步了解 Redis 的应用。
阅读本教程前,您需要了解的知识?
阅读本教程前,你需要了解基本的数据结构,例如以下几种:
- String: 字符串
- Hash: 散列
- List: 列表
- Set: 集合
- Sorted Set: 有序集合
在阅读本教程前,你需要了解基本的数据结构。
相关资源
Redis 官网:https://redis.io/
Redis 在线测试:http://try.redis.io/
=================================================================================================
Redis 简介
Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。
Redis 与其他 key - value 缓存产品有以下三个特点:
- Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
Redis 优势
- 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
- 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
- 原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。
- 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
Redis与其他key-value存储有什么不同?
-
Redis有着更为复杂的数据结构并且提供对他们的原子性操作,这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明,无需进行额外的抽象。
-
Redis运行在内存中但是可以持久化到磁盘,所以在对不同数据集进行高速读写时需要权衡内存,因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是,相比在磁盘上相同的复杂的数据结构,在内存中操作起来非常简单,这样Redis可以做很多内部复杂性很强的事情。同时,在磁盘格式方面他们是紧凑的以追加的方式产生的,因为他们并不需要进行随机访问。
===================================
Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单。本节中,我们就来介绍一下Python的Redis操作,主要介绍RedisPy这个库的用法。
1. 准备工作
在开始之前,请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话,还需要安装RedisDump。如果没有安装,可以参考第1章。
2. Redis
和StrictRedis
RedisPy库提供两个类Redis
和StrictRedis
来实现Redis的命令操作。
StrictRedis
实现了绝大部分官方的命令,参数也一一对应,比如set()
方法就对应Redis命令的set
方法。而Redis
是StrictRedis
的子类,它的主要功能是用于向后兼容旧版本库里的几个方法。为了做兼容,它将方法做了改写,比如lrem()
方法就将value
和num
参数的位置互换,这和Redis命令行的命令参数不一致。
官方推荐使用StrictRedis
,所以本节中我们也用StrictRedis类
的相关方法作演示。
3. 连接Redis
现在我们已经在本地安装了Redis并运行在6379端口,密码设置为foobared。那么,可以用如下示例连接Redis并测试:
1
2
3
4
5
|
from redis import StrictRedis
redis = StrictRedis(host='localhost', port=6379, db=0, password='foobared')
redis.set('name', 'Bob')
print(redis.get('name'))
|
这里我们传入了Redis的地址、运行端口、使用的数据库和密码信息。在默认不传的情况下,这4个参数分别为localhost
、6379
、0
和None
。首先声明了一个StrictRedis
对象,接下来调用set()
方法,设置一个键值对,然后将其获取并打印。
运行结果如下:
1
|
b'Bob'
|
这说明我们连接成功,并可以执行set()
和get()
操作了。
当然,我们还可以使用ConnectionPool
来连接,示例如下:
1
2
3
4
|
from redis import StrictRedis, ConnectionPool
pool = ConnectionPool(host='localhost', port=6379, db=0, password='foobared')
redis = StrictRedis(connection_pool=pool)
|
这样的连接效果是一样的。观察源码可以发现,StrictRedis
内其实就是用host
和port
等参数又构造了一个ConnectionPool
,所以直接将ConnectionPool
当作参数传给StrictRedis
也一样。
另外,ConnectionPool
还支持通过URL来构建。URL的格式支持有如下3种:
1
2
3
|
redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db
|
这3种URL分别表示创建Redis TCP连接、Redis TCP+SSL连接、Redis UNIX socket连接。我们只需要构造上面任意一种URL即可,其中password
部分如果有则可以写,没有则可以省略。下面再用URL连接演示一下:
1
2
3
|
url = 'redis://:foobared@localhost:6379/0'
pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)
|
这里我们使用第一种连接字符串进行连接。首先,声明一个Redis连接字符串,然后调用from_url()
方法创建ConnectionPool
,接着将其传给StrictRedis
即可完成连接,所以使用URL的连接方式还是比较方便的。
4. 键操作
表5-5总结了键的一些判断和操作方法。
表5-5 键的一些判断和操作方法
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
判断一个键是否存在 |
|
|
是否存在 |
|
|
删除一个键 |
|
|
删除 |
1 |
|
判断键类型 |
|
|
判断 |
|
|
获取所有符合规则的键 |
|
|
获取所有以 |
|
|
获取随机的一个键 |
|
获取随机的一个键 |
|
|
|
重命名键 |
|
|
将 |
|
|
获取当前数据库中键的数目 |
|
获取当前数据库中键的数目 |
100 |
|
|
设定键的过期时间,单位为秒 |
|
|
将 |
|
|
获取键的过期时间,单位为秒,-1表示永久不过期 |
|
|
获取 |
-1 |
|
将键移动到其他数据库 |
|
|
将 |
|
|
删除当前选择数据库中的所有键 |
|
删除当前选择数据库中的所有键 |
|
|
|
删除所有数据库中的所有键 |
|
删除所有数据库中的所有键 |
|
5. 字符串操作
Redis支持最基本的键值对形式存储,用法总结如表5-6所示。
表5-6 键值对形式存储
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
给数据库中键为 |
|
|
给 |
|
|
返回数据库中键为 |
|
|
返回 |
|
|
给数据库中键为 |
|
|
赋值 |
|
|
返回多个键对应的 |
|
|
返回 |
|
|
如果不存在这个键值对,则更新 |
|
|
如果 |
第一次运行结果是 |
|
设置可以对应的值为 |
|
|
将 |
|
|
设置指定键的 |
|
|
设置 |
11,修改后的字符串长度 |
|
批量赋值 |
|
|
将 |
|
|
键均不存在时才批量赋值 |
|
|
在 |
|
|
键为 |
|
|
|
1,即修改后的值 |
|
键为 |
|
|
|
-1,即修改后的值 |
|
键为 |
|
|
向键为 |
13,即修改后的字符串长度 |
|
返回键为 |
|
|
返回键为 |
|
|
获取键的 |
|
|
返回键为 |
|
6. 列表操作
Redis还提供了列表存储,列表内的元素可以重复,而且可以从两端存储,用法如表5-7所示。
表5-7 列表操作
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
在键为 |
|
|
向键为 |
3,列表大小 |
|
在键为 |
|
|
向键为 |
4,列表大小 |
|
返回键为 |
|
|
返回键为 |
4 |
|
返回键为 |
|
|
返回起始索引为1终止索引为3的索引范围对应的列表 |
|
|
截取键为 |
|
|
保留键为 |
|
|
返回键为 |
|
|
返回键为 |
b’2′ |
|
给键为 |
|
|
将键为 |
|
|
删除 |
|
|
将键为 |
1,即删除的个数 |
|
返回并删除键为 |
|
|
返回并删除名为 |
|
|
返回并删除键为 |
|
|
返回并删除名为 |
|
|
返回并删除名称在 |
|
|
返回并删除键为 |
|
|
返回并删除键为 |
|
|
返回并删除名为 |
|
|
返回并删除名称为 |
|
|
将键为 |
|
7. 集合操作
Redis还提供了集合存储,集合中的元素都是不重复的,用法如表5-8所示。
表5-8 集合操作
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
向键为 |
|
|
向键为 |
3,即插入的数据个数 |
|
从键为 |
|
|
从键为 |
1,即删除的数据个数 |
|
随机返回并删除键为 |
|
|
从键为 |
|
|
从 |
|
|
从键为 |
|
|
返回键为 |
|
|
获取键为 |
3 |
|
测试 |
|
|
判断 |
|
|
返回所有给定键的集合的交集 |
|
|
返回键为 |
|
|
求交集并将交集保存到 |
|
|
求键为 |
1 |
|
返回所有给定键的集合的并集 |
|
|
返回键为 |
|
|
求并集并将并集保存到 |
|
|
求键为 |
3 |
|
返回所有给定键的集合的差集 |
|
|
返回键为 |
|
|
求差集并将差集保存到 |
|
|
求键为tags |
3 |
|
返回键为 |
|
|
返回键为 |
|
|
随机返回键为 |
|
|
随机返回键为 |
8. 有序集合操作
有序集合比集合多了一个分数字段,利用它可以对集合中的数据进行排序,其用法总结如表5-9所示。
表5-9 有序集合操作
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
向键为 |
|
|
向键为 |
2,即添加的元素个数 |
|
删除键为 |
|
|
从键为 |
1,即删除的元素个数 |
|
如果在键为 |
|
|
键为 |
98.0,即修改后的值 |
|
返回键为 |
|
|
得到键为 |
1 |
|
返回键为 |
|
|
得到键为 |
2 |
|
返回键为 |
|
|
返回键为 |
|
|
返回键为 |
|
|
返回键为 |
|
|
返回键为 |
|
|
返回键为 |
2 |
|
返回键为 |
|
|
获取键为 |
3 |
|
删除键为 |
|
|
删除键为 |
1,即删除的元素个数 |
|
删除键为 |
|
|
删除 |
1,即删除的元素个数 |
9. 散列操作
Redis还提供了散列表的数据结构,我们可以用name
指定一个散列表的名称,表内存储了各个键值对,用法总结如表5-10所示。
表5-10 散列操作
方法 |
作用 |
参数说明 |
示例 |
示例说明 |
示例结果 |
---|---|---|---|---|---|
|
向键为 |
|
|
向键为 |
1,即添加的映射个数 |
|
如果映射键名不存在,则向键为 |
|
|
向键为 |
1,即添加的映射个数 |
|
返回键为 |
|
|
获取键为 |
5 |
|
返回键为 |
|
|
获取键为 |
|
|
向键为 |
|
|
向键为 |
|
|
将键为 |
|
|
|
6,修改后的值 |
|
键为 |
|
|
键为 |
|
|
在键为 |
|
|
从键为 |
|
|
从键为 |
|
|
从键为 |
6 |
|
从键为 |
|
|
从键为 |
|
|
从键为 |
|
|
从键为 |
|
|
从键为 |
|
|
从键为 |
|
10. RedisDump
RedisDump提供了强大的Redis数据的导入和导出功能,现在就来看下它的具体用法。
首先,确保已经安装好了RedisDump。
RedisDump提供了两个可执行命令:redis-dump
用于导出数据,redis-load
用于导入数据。
redis-dump
首先,可以输入如下命令查看所有可选项:
1
|
redis-dump -h
|
运行结果如下:
1
2
3
4
5
6
7
8
9
10
|
Usage: redis-dump [global options] COMMAND [command options]
-u, --uri=S Redis URI (e.g. redis://hostname[:port])
-d, --database=S Redis database (e.g. -d 15)
-s, --sleep=S Sleep for S seconds after dumping (for debugging)
-c, --count=S Chunk size (default: 10000)
-f, --filter=S Filter selected keys (passed directly to redis' KEYS command)
-O, --without_optimizations Disable run time optimizations
-V, --version Display version
-D, --debug
--nosafe
|
其中-u
代表Redis连接字符串,-d
代表数据库代号,-s
代表导出之后的休眠时间,-c
代表分块大小,默认是10000,-f
代表导出时的过滤器,-O
代表禁用运行时优化,-V
用于显示版本,-D
表示开启调试。
我们拿本地的Redis做测试,运行在6379端口上,密码为foobared,导出命令如下:
1
|
redis-dump -u :foobared@localhost:6379
|
如果没有密码的话,可以不加密码前缀,命令如下:
1
|
redis-dump -u localhost:6379
|
运行之后,可以将本地0至15号数据库的所有数据输出出来,例如:
1
2
3
4
5
6
7
8
|
{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}
{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}
|
每条数据都包含6个字段,其中db
即数据库代号,key
即键名,ttl
即该键值对的有效时间,type
即键值类型,value
即内容,size
即占用空间。
如果想要将其输出为JSON行文件,可以使用如下命令:
1
|
redis-dump -u :foobared@localhost:6379 > ./redis_data.jl
|
这样就可以成功将Redis的所有数据库的所有数据导出成JSON行文件了。
另外,可以使用-d
参数指定某个数据库的导出,例如只导出1号数据库的内容:
1
|
redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl
|
如果只想导出特定的内容,比如想导出以adsl
开头的数据,可以加入-f
参数用来过滤,命令如下:
1
|
redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl
|
其中-f
参数即Redis的keys
命令的参数,可以写一些过滤规则。
redis-load
同样,我们可以首先输入如下命令查看所有可选项:
1
|
redis-load -h
|
运行结果如下:
1
2
3
4
5
6
7
8
9
|
redis-load --help
Try: redis-load [global options] COMMAND [command options]
-u, --uri=S Redis URI (e.g. redis://hostname[:port])
-d, --database=S Redis database (e.g. -d 15)
-s, --sleep=S Sleep for S seconds after dumping (for debugging)
-n, --no_check_utf8
-V, --version Display version
-D, --debug
--nosafe
|
其中-u
代表Redis连接字符串,-d
代表数据库代号,默认是全部,-s
代表导出之后的休眠时间,-n
代表不检测UTF-8编码,-V
表示显示版本,-D
表示开启调试。
我们可以将JSON行文件导入到Redis数据库中:
1
|
< redis_data.json redis-load -u :foobared@localhost:6379
|
这样就可以成功将JSON行文件导入到数据库中了。
另外,下面的命令同样可以达到同样的效果:
1
|
cat redis_data.json | redis-load -u :foobared@localhost:6379
|
本节中,我们不仅了解了RedisPy对Redis数据库的一些基本操作,还演示了RedisDump对数据的导入导出操作。由于其便捷性和高效性,后面我们会利用Redis实现很多架构,如维护代理池、Cookies池、ADSL拨号代理池、Scrapy-Redis分布式架构等,所以Redis的操作需要好好掌握。