Redis基础

Redis

一. 什么是Redis?

Redis是一套分布式高速缓存系统.

Redis与MongoDB,MemCache都是属于NoSQL思想的实现,称之为非关系型数据库.

二. 为什么需要Redis?

过去是单机型数据库的天下,各大数据库提供商都在努力提高单机型数据库的效率与安全性.其中Oracle和SQL Server以及MySQL更是其中的佼佼者.

随着互联网产业的高速发展,传统的数据库容量不断增大,并发读写量不断提高,以下三个方面的问题出现:

1. 数据量过大(分表分库)
2. 读写次数过多(读写分离)

三. Redis有什么用?

传统的关系型数据库每秒中写入大概23次,读稍微多一点.Redis大约每秒写8w次,读11w次.

关系型数据库保存数据以表形式,对字段类型进行限制,Redis使用KV保存方式,值的类型更加多元化.

Redis为系统提供更高速,更多元,更实时的数据.

四. Redis的特点

1. 支持数据持久化

可以将缓存在内存中的数据保存在磁盘中,重启后仍然可以使用数据.

2. 数据类型多元化

不仅提供简单的KV形式,还有提供list,set,zset,hash等数据结构的储存.

3. 支持数据备份

Master – Slave模式数据备份.

五. CAP理论

1.概念

1.1) Consistency(一致性)

数据一致更新，所有数据变动都是同步的

1.2) Availability(可用性)

好的响应性能

1.3) Partition tolerance(分区容忍性)

可靠性

2.总结

2.1任何分布式系统只可同时满足二点，没法三者兼顾

2.2只能分成满足CA,CP,AP三种情况

a) CA: 单点集群.满足一致性和可用性,分区容忍性不强.

b) CP: 满足一致性,分区容忍性,但可用性不高.

c) AP: 满足可用性,分区容忍性,但一致性较差.

六. BASE思想

1. 关系数据库的ACID模型 

a) Atomicity原子性：一个事务中所有操作都必须全部完成，要么全部不完成。

b) Consistency一致性. 在事务开始或结束时，数据库应该在一致状态。

c) Isolation隔离层. 事务将假定只有它自己在操作数据库，彼此不知晓。

d) Durability. 一旦事务完成，就不能返回。

总结: 高一致性 + 可用性 但是很难进行分区：

2. BASE模型反ACID模型

完全不同ACID模型，牺牲高一致性，获得可用性或可靠性：

a) Basically Available基本可用。支持分区失败(e.g. sharding碎片划分数据库)

b) Soft state软状态 状态可以有一段时间不同步，异步。

c) Eventually consistent最终一致，最终数据是一致的就可以了，而不是时时高一致。

七. 下载安装

1.下载地址:

英文官网: https://redis.io/

中文官网: http://www.redis.cn/

2.将下载好的tar.gz拷贝到Linux: /usr/local目录下

3.解压缩并且进入目录/usr/local/redis-xxx

4.安装gcc-c++

yum install gcc-c++

5.执行安装命令

make&&make install

八. 初始配置

1.配置文件位置

/usr/local/redis-xxx/redis.conf

2.备份配置文件

/redis-conf-copy/redis.conf

3.修改为后台运行

将备份的配置文件中daemonize no修改为yes

4.进入命令目录并启动服务以及找到配置文件位置

cd /usr/local/bin/

redis-server /redis-conf-copy/redis.conf

5.打开新的命令终端查看服务是否启动

ps -ef|grep redis

redis默认端口6379

6.进入redis

redis-cli -p 6379

7.测试redis是否正常

输入ping,会收到回复pong

8.测试Key-Value保存

set key value

get key

9.测试读写速度

执行benchmark

9.停止服务

SHUTDOWN

Exit

九. 内存数据库

1.Redis有多少个数据库?

redis默认存在16个库,每个库拥有自己唯一的下标,类似于数组从0开始,默认使用0号库.

2.如何切换Redis数据库

select 下标

3.获得当前数据库中key数量

dbsize

测试插入后的数据库key数量

set k1 v1

set k2 v2

set k3 v3

4.获得所有的key内容

keys *

5.占位符?

keys i?

获得以i开头所有的key

keys ?1

获得以1结尾所有的key

6.清除本数据库所有的key

flushdb

7.清除16个库中所有的key

flushall

Redis命令大全: redisdoc.com

十. key关键字

1. exists

判断是否存在某个key

存在返回1,不存在返回0.

2. move

移动到其他的库

3. ttl

Time to live 过期时间

返回过期时间还有多少秒,返回-1 永不过期, 返回-2 已经过期.

设置过期时间: expire key second

4. type

获得Key的类型

十一. 五大数据类型

Redis的数据类型相较于其他NoSQL实现更加多元化,虽然同样属于KV类型非关系型数据库,但是value的类型有以下五种:

String: 字符串,用于网页标题,点赞数量等等...

List: 有序列表

Set: 散列集合

Zset: 有序集合

Hash: Redis对象

1. String(字符串)

最基本的数据类型,二进制安全,在redis中一个string类型的value最大可以是512m.

二进制安全指的,可以保存二进制文件数据,也可以保存对象序列化信息.

set/get/del/append/strlen

1) del

删除key

2) append

找到key并在value后追加

3) strlen

获得字符串的长度

4) incr

自增,要求数字

5) decr

自减

6) incrby

指定增量自增

语法: incrby key 增量

7) decrby

指定减量自减

语法: incrby key 减量

8) getrange

获得范围内数据(substring)

语法: getrange key beginIndex endIndex

9) setrange

从指定位置开始替换,替换相同数量的内容(replace)

语法: setrange key beginIndex content

10) setex

设置kv同时指定存活时间

语法: setex key time value

11) setnx

当key不存在时就设置值

语法: setnx key value

12) mset

批量设置kv

13) mget

批量通过key获得value

14) msetnx

都不存在时批量设置

2. List(列表)

简单的字符串列表,按照插入顺序进行排序,可以添加元素到头部或者尾部.

lpush/rpush/lrange/lpop/rpop/lindex/irem/ltrim/rpoplpush/lset/linsert

1) lpush

从集合左侧推入数据

2) rpush

从集合右侧推入数据

3) lrange

获得集合数据

4) lpop

左出栈

5) rpop

右出栈

6) lindex

按照下标获得元素

7) lrem

删除指定个数的指定值

语法: irem count value

8) ltrim

将列表中的元素截取一部分,重新赋值给key

9) rpoplpush

语法: rpoplpush list1 list2

集合1右出数据,集合2左入数据

10) lset

语法: lset list index value

插入值到指定下标

11) linsert

在指定值 前/后 插入指定值

语法: linsert list  before/after  target  value

总结: 列表可以对于左右操作十分方便快速,中间数据操作效率低下.

3. Set(集合)

字符串类型的无序集合,散列.

sadd/smembers/sismembers/scard/srem/srandmember/spop/smove/sdiff/sinter/sunion

1) sadd

将数据插入集合中

语法: sadd key value[]

2) smembers

获得集合中的数据

语法: smembers key

3) sismembers

查询集合中是否存在数据

语法: sismembers

4) scard

获得集合中元素个数

5) srem

移除指定元素

6) srandmember

随机抽取几个数字

7) spop

随机出栈

8) smove

从一个集合移动数据到另一个集合

语法: smove set1 set2 value

9) sdiff

差集

10) sinter

交集

11) sunion

并集

4. Hash(哈希,类似于java中的java.util.Map)

Hash是一个键值对集合,是一个field和value的映射表,hash特别适合保存对象.

类似于java中的: Map<String,Object>

仍然是KV模式,但是V是一个键值对

hset/hget/hmset/hgetall/hdel/hlen/hexists/hkeys/hvals/hincrby/hincrbyflout/hsetnx

1) hset

2) hget

3) hmset

4) hmget

5) hgetall

6) hdel

7) hlen

8) hexists

9) hkeys

10) hvals

11) hincrby

12) hincrbyflout

13) hsetnx

5. Zset(sorted set: 有序集合)

有序集合,每个值关联一个double类型的分数.

之前的set是k1 v1 v2

现在的zset是 k1 score1 v1 score2 v2

zadd/zrange/zrangebyscore/zrem/zcard/zcount/zrank/zscore/zrevrank/

zrevrange/zrevrangebyscore

1) zadd

2) zrange

withscores

3) zrangebyscore

(

limit

4) zrem

5) zcard

6) zcount

7) zrank

8) zscore

9) zrevrank

10) zrevrange

11) zrevrangebyscore

(

limit

十二. 配置文件

1) units单位

2) include包含

3) general通用

daemonize: yes/no

守护进程,作用允许redis在关闭命令终端时继续在后台工作.

databases: integer

设置redis启动时创建内存数据库的数量.

pidfile:

线程管道文件

port: 6379

端口设置

tcp-backlog: 511

连接队列

backlog队列总和 = 未完成三次握手队列 + 已经完成三次握手队列.

bind: 127.0.0.1

绑定服务器

timeout: 0

对于客户端连接到redis时,可以采用超时关闭连接模式以节约内存,默认连接超时时间0,表示永不关闭.

开发中建议设置为0,生产中建议配置为300即5分钟后断开

tcp-keepalive

Redis集群心跳检测,每隔一段时间发送心跳检测,获得集群中其他redis是否依然在运行.

loglevel: notice

日志等级: 默认 notice(通知),开发时允许调成debug

logfile: “”

日志文件位置

建议设置logfile stdout系统输出设备

syslog-enabled: no

系统日志开关

sylog-ident: redis

系统日志开头文字(标识)

4) snapshotting快照

5) replication复制

6) security安全

config get requirepass: 获得必须的密码

config get dir: 获得当前打开命令终端的路径

一部分日志会保存到当前打开终端的路径下.

config set requirepass: 设置必须的密码

设置完密码后redis需要必须的密码验证才可以使用.

如果希望解除密码验证,只需要将必须密码设置为””即可.

auth your-password

7) limits限制

Maxclients: 10000

最大连接客户端

Maxmemory:

最大内存

Maxmemory-policy: noeviction

过期策略算法:

Lru:最近最少使用

Random: 随机

Ttl: 有限时间内

单词解释:

Volatile: 保护

Allkeys: 非保护

缓存过期策略:

Noeviction(默认): 不进行移除,永不过期

Volatile-lru: 使用LRU算法移除key,只作用于设置了过期时间的key

Allkeys-lru: 使用LRU算法移除key

Volatile-random: 随机移除, 只作用于设置了过期时间的key

Allkeys-random: 随机移除

Volatile-ttl: 移除那些ttl值小的key,即那些最近要过期的key.

Maxmemory-samples: 5

由于LRU与TTL算法都非精确算法,可能存在误差,可以使用测试计算误差.

设置样本数量,默认5个.

减少测试样本数量会降低测试准确度.

增加测试样本数量会增加测试时间.

8) append only mode追加

十三. 持久化

1.RDB

1.1 什么是RDB?

RDB是Redis Database的简称.

1.2 RDB有什么用?

在指定的时间间隔内,将内存中的数据集快照写入磁盘.

Snapshot快照,它恢复时时将快照文件直接读到内存里.

1.3 RDB的原理

Redis会单独创建(fork)一个子进程来进行持久化,会将数据写入到一个临时文件中,带持久化过程都结束了,再用这个临时文件替换上次持久化好的文件.整个过程中,主进程是不进行任何IO操作的,这就确保了主进程极高的性能.如果需要对大规模的数据进行恢复,且对数据的完整性不是非常敏感,那么RDB方式要比AOF方式更加高效.RDB方式的缺点是最后一次持久化之后的数据可能丢失.

1.4 什么是fork?

复制一个与当前进程一样的进程.新进程的所有数据(变量,环境变量,程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为进程的子进程.子进程将内存中的数据通过IO保存到硬盘中进行持久化,保存的文件名为dump.rdb.

1.5 如何使用RDB持久化?

1.5.1打开配置文件redis.cnf

1.5.2找到SNAPSHOTTING

1.5.3持久化备份机制

save <second> <change>

保存 秒 变更次数

以上设置为在多长时间内发生变更次数达到多少就进行保存.

默认值:

save 900 1 15分钟内有一次

save 300 10 5分钟10次

save 60 10000  1分钟内达到1万次

以上内容也可以进行自定义设置

1.5.4禁用RDB

save “”

禁用后Redis就不能进行RDB持久化,请慎用此设置.

1.5.5数据恢复

将dump.rdb文件放置在启动位置即可自动恢复.

1.5.6立即备份

在Redis命令行输入save可以立即备份

1.5.7遇到后台持久化错误时是否可以继续写操作

stop-writes-on-bgsave-error yes

有数据运维或RedisDBA可以允许关闭,否则会影响数据一致性.

1.5.8是否压缩持久化文件

rdbcompression yes

压缩节约硬盘空间,压缩式需要浪费CPU,不压缩反之.

1.5.9压缩验证算法

rdbchecksum yes

对备份数据进行验证,需要提示Redis10%的性能消耗.

1.5.10备份文件名及路径

dbfilename dump.rdb

dir ./  --当前路径

1.5.11总结

一. 以下三种方式可以 产生/更新 持久化备份文件.

1. fork进程触发
2. save命令
3. flushall

shutdown也可以进行持久化备份,生产中一般不会经常运行此命令.

二. 如何恢复?

将文件copy到启动目录就可以进行恢复,生产中一般放置到启动目录下.

三. 优势与劣势分析

优势: 适合大规模的数据恢复

劣势: 数据的一致性不高,在fork进程启动时内存2倍膨胀.

2.AOF

2.1什么是AOF?

AOF是Append Only File的简称.

AOF与RDB协作运行,不产生冲突.

2.2为什么需要AOF?

弥补RDB的劣势.

2.3AOF的原理

以日志的形式来记录每个写操作,将redis执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复.

使用异步方式进行记录

2.4 如何使用AOF?

复制并且重命名aof文件.

2.4.1默认关闭AOF

appendonly no

手动设置为yes

2.4.2默认文件名称

appendfilename "appendonly.aof"

2.4.3开启服务进入Redis立即产生appendonly.aof文件

2.4.4设置kv到redis

2.4.5清空所有数据库并且退出redis

2.4.6查看appendonly.aof文件内容

2.4.7移除rdb文件确保不会进行RDB恢复

2.4.8删除FLUSHALL指令

生产环境中一般是不允许手动修改appendony.aof的.

2.4.9启动并且进入Redis,查看key

2.4.10启动是读取备份文件的优先级

Redis启动时首先会去读取aof文件,没有aof再去读取rdb文件.

可以将adf文件故意加入错误内容,在同时有rdb和aof文件的Redis启动进行测试,如果报错说明优先读取aof,不报错说明优先读取rdb文件.

备份被写坏的aof文件,再使用redis-check-aof –fix appendonly.aof命令,可以智能检测aof文件的错误并且修改.

2.4.11同步文件策略

# appendfsync always: 同步持久化

每次发生数据改变立即记录到磁盘,性能较差但完整性最好.

appendfsync everysec: 每秒记录(默认设置)

性能较好,但是如果在宕机的1秒内保存的数据,有可能丢失.

# appendfsync no: 不持久化

2.4.12为什么需要重写?

AOF采用追加的方式,当AOF文件越来越大时,需要对文件进行精简压缩.当文件大小超过所设定的阈值时,Redis就会启动AOF文件内容压缩.将重复的相同的操作指令,进行优化,使文件内容缩小,但是运行结果相同.也可以使用指令bgrewriteaof.

2.4.13重写的机制

AOF持续增长到一定大小时,会fork出一条新的进程来将文件重写(先产生临时文件,最后再rename).遍历新进程的内存中数据,每条记录有一条的Set语句.重写AOF文件并没有读取旧的AOF文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的AOF文件,这点和快照有所类似.

Redis会记录上次重写时的AOF大小,默认是当AOF文件大小时上次rewrite后大小的一倍并且文件大小超过64m时触发.

no-appendfsync-on-rewrite no

重写时可以允许appendfsync,默认no,保证数据安全性

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

设置重写的基准值

2.4.14总结

优势: 保存数据一致性非常高

劣势:

备份时采用每秒追加,或者同步追加功耗巨大

相同数据aof文件要远远大于rdb文件,并且恢复速度要慢恢复时间要久.

十四. 事务

1. 什么是redis的事务?

可以一次性执行多个命令,本质上是一组命令的集合.一个事务中的所有命令都会序列化,会按照顺序的执行而不会被其他命令插入,不允许加塞.(类似于批处理)

2. redis如何保证一致性

如果多个redis命令操作需要保证一致性,那么就需要开启redis事务.

3. redis的事务能做什么?

一个队列中,一次性,顺序性,排他性的执行一系列的命令.

4. 如何使用redis事务?

4.1事务常用命令

4.1.1multi

标记一个事务块的开始

4.1.2exec

执行所有事务块内的命令

4.1.3discard

取消,放弃执行事务块内的所有命令

4.1.4watch key [key]

监视一个或多个key,如果在事务执行前被监视的key被其他人操作发生改动,那么事务将被打断.(类似于Git提交冲突)

4.1.5unwatch

取消watch命令对所有key的监视

4.2事务操作中的一些情况

关键字: QUEUED 队列

(redis事务操作中指操作入队)

4.2.1Case1: 正常执行

4.2.2Case2: 放弃事务

4.2.3Case3: 一票否决(没有成功添加队列)

4.2.4Case4: 待定审核(添加队列成功但执行错误)

4.2.5Case5: watch监控

乐观锁:

不进行锁定,只在出现问题是进行类似于版本控制器的冲突解决.

提交版本必须大于当前版本才能执行.

悲观锁:

锁定数据,不允许其他线程修改,能很好的保证数据一致性,但会影响并发性能.

如: 行锁 表锁 读锁 写锁

watch案例:信用卡余额与应还金额.

1.正常的操作

2.多线程冲突操作

线程一监听money

线程二修改money

线程一开启事务,并且修改money,执行事务时会出现失败提示返回nil空

3.解决多线程冲突操作

线程一监听money

线程二修改money,此时线程二应该通知线程一

线程一开启事务前关闭监听等待线程二修改完成再次加入监听,并且修改money,执行事务

4.3总结:

1.一旦执行exec那么之前的watch都会被清空

2.不保证原子性,redis命令集中一条执行失败,其余的也能执行成功.

3.没有回滚机制

十五. 主从复制

replication

十六. Jedis

redis 远程连接方法

解决方法

1、修改redis服务器的配置文件

vi redis.conf

注释以下绑定的主机地址

# bind 127.0.0.1

vim  redis.conf

bind  0.0.0.0

protected-mode   no

2、修改redis服务器的参数配置

修改redis的守护进程为no，不启用

127.0.0.1:6379> config  set   daemonize  "no"

OK

修改redis的保护模式为no，不启用

127.0.0.1:6379> config   set   protected-mode"no"

OK

或者

config set requirepass 123 ->123是密码

注意：开启 6379端口

 

3、远程连接

$ redis-cli -h 138.138.138.138  -p  6379 

redis>ping

PONG

1.如何使用Jedis?

在springboot工程中添加jedis的依赖

2.常用命令

2.1测试

ping()

2.2设置string值

set(String key,String value);

2.3根据key获得值

get(String name);

2.4获得所有的key

getkeys(“pattern”)

3.事务

Jedis j = new Jedis(“ip”,port);

Transactional  tran = j.multi();

4.存取对象

4.1使用hash方式保存

4.2使用字节方式保存

IDEA如何将对象产生序列化ID

将自动产生序列化ID勾选,在类名上使用ALT+回车即可产生序列化ID

4.3使用json方式保存