redis

redis
概述

(redis.memcache(内存数据库,高速缓存),mongodb(文档数据库))

入门概述
- Nosql(not noly sql) 数据之间无关系,容易扩展速度快:读11w,写8w
- RDBMS VS NOSQL
  - Rdbms:acid
  - Nosql:cap定理,键值对存储,
  - 组成:Kv,Cache,Persistence
3v+3高
- 海量volume
- 多样variety
- 实时velocity
- 高并发,
- 高扩展,
- 高性能
Nosql的经典应用

阿里sql 与nosql商品信息的存放
- 第一代1999:Perl,CGI,Oracle
- 2000java时代:JAVA,servlet
- 2001-2004:EJB(SLSB,CMP,MDB) pattern(servletLocator,Delegate,Façade,DAO,DTO)
- 2005-2007:EJB重构:spring+ibatis+webx,antx(struts前身)
  - 底层架构:iSearch,MQ+ESB,数据挖掘,CMS
- 2008-2009:Memcached集群,mysql+数据切分=cobar
- 2010:安全,镜像,应用服务器升级,秒杀,nosql,SSD
- 第四代:解决性能和海量数据问题
  - 大规模memcached集群,高性能服务器,kv,cnd
  - 安全问题:镜像站
- 第五代2011:敏捷,开放,体验
去IOE(去除IBM小型机,oracle数据库,EMC存储设备)-云计算

Nosql数据模型简介
- Kv键值
- Bson
- 列簇
- 图形
Nosql数据库的四大分类
- Kv键值
  - 新浪:Berkeley+redis
  - 美团:redis+tair
  - 阿里,百度:memcache+redis
- 文档数据库
  - bson:mongodb
- 列存储数据库
  - Cassandra,Hbase,分布式文件系统
- 图关系数据库
  - 社交网络,关系图,neo4j,infoGrid
在分布式数据库中CAP原理
- ACID
  - A(Atomicity)原子性
  - C(Consistency)一致性
  - I(Isolation)独立性
  - D(Durability)持久性
- CAP
  - C(Consistency)强一致性
  - A(Availability)可用性
  - P(Partition tolerance)分区容错性
- CAP的3选2(注意)不能同时满足三个
  - CA:单点集群,一致性,可用性
  - CP:一致性,分区容错,性能不是特别高
  - AP:可用性,分区容错,对一致性要求低:用的较多
- 经典CAP图
- Base
  - 基本可用(Basically Available)
  - 软状态(Soft state)
  - 最终一致(Eventually consistent)
  - 放松某时刻一致性的要求,由base解决
- 分布式+集群简介
  - 分布式:不同服务器:不同服务模块
  - 集群:不同服务器:相同服务模块
Redis入门介绍

是什么
- Remote dictionary server(远程字典服务)
- c语言编写,遵守BSD协议
- Kv分布式存储数据库,基于内存运行,数据结构服务器
- 特点
  - 支持持久化
  - 不仅支持kv,还提供list,set,zset,hash等
  - 支持数据备份,即master-slave模式数据备份
做什么
- 支持异步将内存数据写入硬盘,
- 发布,订阅系统消息mq+nq:消息中间件
- 定时器,计数器
- 最新的消息放在内存中list.
怎么做
- 数据类型,基本操作,配置
- 持久化,复制,RDB/AOF
- 事务控制
  - 灵活性高,有时候事务回滚
  - 例如3条语句,回滚2条错的,另一个不会滚,与RDMS不同
- 复制
Redis安装

下载地址:https://github.com/dmajkic/redis/downloads

Redis启动后杂项基础知识讲解
- 单进程以epoll包装.linux下多路复用io
- 默认16个数据库,类似数组下标从0开始.初始默认0号库
- Select命令切换数据库 select 7选择7号库
- Dbsize查看当前数据库key数量
- Flushdb:清空当前库
- Flushall通杀全部库
- 统一密码管理,16个库都是同样密码,要么ok,要么都连不上
- Redis索引都是从0开始
- 默认端口6379->键盘6379->merz
- Keys d* 显示d开头的key
Redis数据类型

Redis五大数据类型string,hash,list,set,zset
- String:一个key一个value,二进制安全,可包含任何数据,比如图片,序列化对象,value最多512M
- Hash:类似java中Map, 是一个string类型的filed和value的映射表,适合存储对象
- List:字符串链表,按照插入顺序,可以添加元素到头部,尾部
- Set:实际上是map,string类型无序集合,hashtable实现
- Zset:string类型集合,不重复,每个元素关联一个double分数,通过分数排序,分数可重复
获得常见类型操作命令

http://redisdoc.com

Redis key
- Key * 查看所有
- Exist key 判断是否存在key(返回0表示无)
- Move key db 当前库就没了,剪贴
- Expire key 秒设置过期时间
- Ttl key 查看还有多少时间过期 -1 不过期 -2 已过期(移除)
- Type key 查看key类型
- Del key删除类型(一般是设置过期时间)
- Set key 多次会覆盖
Redis String
- 单值单value
- Set/get/del/append/strlen:拼接字符,返回长度
- Incr/decr/incrby/decrby,一定要是数字才能进行加减
  - Incdecrr k2:把k2的值加1,减1
  - Incrby/decrby k2 步长x:每次加减x
- Getrange/setrange:获取指定区间的值,类似between and
  - Getrange key 0 3:获取key的0-3个字符
  - Setrange key 2 x:设置第下标2开始到最后为x
- Setex(set with expire)键秒值/setnx(set if not exist)
  - Setx key time value;带时间设置
  - Setnx key value:如果存在不再添加
- Mset/mget/msetnx
  - Mset k1 v1 k2 v2 k3 v3:一次设置多个
  - Mget k1 k2 k3:获取,注意不能超出k4
  - Msetnx k1 v1 k2 v2 k3 v3 k4 v4:存在的不再插入,不存在的也不再插入
- Getset(先get再set)
Redis list
- 单值多value(l在上,r在下)
- Lpush/rpush/lrange(已存在是添加是append)
Lpush list 0 1 2 3 4 5:0-5左边添加list, 正进反出

lrange list 0 -1:输出

rpush list 0 1 2 3 4 5:5-0右边添加list,正进正出
- Lpop/rpop
Lpop list:返回输出第一个,切弹出

Rpop lsit: 返回输出第一个,切弹出
- Lindex:按照索引下标获得元素
Lindex list 2:获取下标2元素
- Llen list:长度
- Lrem key n v1:删除n个v1元素
- Ltrim key start end:截取指定范围给再给key(包括end):截取后赋给自己
- Rpoplpush 源列表目的列表:把源列表头给目的列表
- Lset key index value:设置下标index的值
- Linsert key before/after v1:v1前后插入v1
- 若值全部移除,对应键也就消失,头尾操作极高,中间较慢
Redis set
- 单值多value
- Sadd/smembers/sismember
  - Sad set01 1 1 2 2 3 3:只插入3 个,自己会去重
  - Smember set:查看
  - Sismember set01 2:判断是否存在
- Scard:获得集合里面元素个数
- Srem key value:删除元素value
- Srandmember key 3:
- Spop key:随机弹出一个
- Smove key1 key2 numINkey1:将key1中的某个值移入key2
- 数学集合类
  - 差集:sdiff sdiff set1 set2:返回差集(在第一个里面,不再第二个里面)
  - 交集:sinter ......
  - 并集:sunion.....
Redis hash
- Kv模式不变,但v是一个键值对
- Hset/hget/hmset/hmget/hgetall/hdel
  - Hset user id 11: key -->user value ->id 11
  - Hget user id:获取;
  - Hmset:设置多个
  - Hmget:得到多个
  - Hgetall:得到所有
  - Hdel key value:删除
- Hlen:返回长度
- Exists user id:判断是否存在
- Hkeys/hvals
  - Hkeys user:得到所有的 key (id name)
  - Hvals user:得到对应值
- Hincrby/hincrbyfloat
  - Hincrby user id 2:使id 加2
  - Hincrbyfloat ....:改小数的值属性
- Hsetnx:添加,若不存在
Redis zset(sorted set)有序集合

Set k1 v1 k2 v2

Zset k1 score1(分数) v1 k2 score2 v2(比set多一个分数,用来排序)
- Zadd/zrange:两个值是一个整体
  - Zrange key 0 -1:取出(v1 v2)
  - Zrange key 0 -1 withscores:取出(v1 socre1 v2 score2)
- Zrangebyscore key score1 score2 小到大:返回范围内的(v1..不带score)
  - score1 score2:都包含
  - (score1 (score2:都不包含
- Limit 2 5:在返回的结果进行截取(从结果下标2开始截取5个)
- Zrem key v1:删除v1
- Zcard key:返回数量 v的数量不带分数
- Zcount key score1 score2:统计分数内个数
- Zrank key v1:返回v1下标
- Zscore key v1:返回v1的score
- Zrevrank key v1:逆序获得下标值
- Zrevrange key 0 -1:逆序输出 v1 v2
- Zrevrangebyscore key 90 60(大到小):返回v2 v1
Units单位
- 1k=1000bytes;1kb=1024bytes;
- 不区分大小写;不支持bit;
配置文件
- Window不用更改,linux要改为yes:守护进程
- 进程管道id文件 windows没有
- Port 6379
- Tcp-backlog 511
windwos中在network部分设置tcp的backlog ,是一个连接队列,队列总和=未完成3次握手+已完成三次握手在高并发环境下需要一个高backlog值,避免客户端连接缓慢,注意:linux内核会将这个值减小到/proc.sys/net/core/somacconn的值所以需要确认增大somaxconn和tcp_syn_backlog两个值来达到效果
- 绑定的网卡端口
- Timeout 0; 空闲多少秒后关闭空闲连接 0表示不断
- Tcp-keepalive:单位为s 设置为0不进行keepalive检测,建议60s，每隔60秒检查一下状态是否良好
- Loglevel:日志级别默认四个
  - debug (最详细:a lot of information, useful for development/testing)
  - verbose (many rarely useful info, but not a mess like the debug level)
  - notice (moderately verbose, what you want in production probably)
  - warning (最少:only very important / critical messages are logged)
- Logfile "":日志文件
- Syslog-enabled no:系统日志开关
- Syslog-ident redis:系统日志文件名
- Syslog-facility local0(值可以是user或local0到local7) window没有
- Database 16 :16个数据库
- 存内存数据到硬盘
- 备份条件:Save time 修改次数(save "")不备份
  - 15min内至少一个key变化
  - 5min内10个key变化
  - 1min内10000key变化
- 执行shutdown时会执行备份
- 手动备份save命令
- Fushall也会执行save
- Stop-writes-on-bgsave-error 备份出错停止写入,
- Rdbchecksum:压缩校验crc64算法,10%性能损耗
- rdbcompression:是否启动压缩
Replication复制
- Config get requirepass 获得当前用户密码串,此时应为""空串
- Config get dir :获取服务启动路径(dir 配置文件中)
  - 当前路径
  - 当配置完path或用完整路径时,即返回的是那个目录路径
- Config set requirepass "123456",(立即加验证)此时再次ping报错
- Auth 123456 即可
- Maxmemory-policy:对于那些不常用的数据,占内存:过期策略
  - volatile-lru(最近最少使用:这对设置了过期时间的建) -> remove the key with an expire set using an LRU algorithm
  - allkeys-lru -> remove any key according to the LRU algorithm
  - volatile-random(随机过期的键删除:对有过期时间的有效) -> remove a random key with an expire set
  - allkeys-random -> remove a random key, any key
  - volatile-ttl(有限时间内:移除ttl只最小的,即即将过期的) -> remove the key with the nearest expire time (minor TTL)
  - noeviction (默认永不过期,针对写操作,会返回错误信息)-> don't expire at all, just return an error on write operations
- Maxmemory-samples
  - 设置样本数量:lru算法最小ttl算法都是非精确的,设置样本大小,redis会默认检查这么多个key并选择其中lru的那个..
Append only mode追加比rdb较好
- 开关,改变后启动时会有appendonly.aof:记录所有写操作
- 最后一秒:故障.可能日志文件损坏,
  - 两者可同时存在,先加载aof,若失败
  - 就会加载dump.rdb
- 修复aof: redis-check-aof --fix appendonly.aof
- Appendfilename:日志文件名字
- Appendfsync
  - Always:同步化持久,每次改变立即记录(性能差)
  - Everysec:出厂设置,异步操作每秒记录,会损失1秒
  - No:
- No-appendfsync-on-rewrite:重写时是否运用appendfsync 用no即可保证数据安全
- Auto-aof-rewrite-min-size:设置重写的基准值
- Auto-aof-rewrite-percentage:设置重写的基准值
常见配置redis.conf介绍
- Redis 守护进程启动 daemonize no->yes
- 一守护进程方式启动时 pid会写入/var/run/redis.pid prefile / var/run/redis.pid指定
- Port 6379
- Bind 127.0.0.1
- Timeout 300
- Loglevel 日志级别 debug,verbose,notice,warning 默认 verbose
- Logfile stdout:标准输出路径
- Database 16
- Dir ./:变值
- Requirepass ...
- Maxclient xxx:最大连接数
- Maxmemory xx:启动时,加载数据,达到最大,尝试清除将到期,或已到期key处理后,
  - 又达到最大,无法写,仍可读.对于新的vm机制,会把key放入内存value放在swap区
Redis持久化

RDB(Redis DataBase)
- 是什么
  - 在指定时间内将数据写入磁盘,即snapshot快照,恢复时写入内存
  - Redis会单独创建(fork)子进程进行持久化,会先将数据写入到临时文件,等待持久化过程结束,再用临时文件替换上次的文件,整个过程主进程不需要io
  - 大规模数据恢复,数据完整性不是很敏感,rdb比aof更高效,
  - 缺点最后一次持久化数据可能丢失(每5min备份一次,可能最后一次备份时故障)
- Fork
  - 复制一个与当前进程一样的进程,所有基本数据与原进程一致,但作为它的子进程运行
- Rdb保存的是dump.rdb文件
- 配置位置 redis.conf
- 如何触发rdb快照
  - 配置文件中默认的快照配置
  - 命令save或是bgsave
  - Save:只管保存其他不管,全部阻塞
  - Bgsave:异步快照,备份同时可以响应请求,可以lastsave获取最后一次成功快照时间
  - 执行flushall 也会产生备份,但是空文件,无意义
- 如何恢复
  - 将备份文件移入 redis安装目录
- 优势
  - 适合大规模数据恢复,对数据一致性完整性要求不高
- 劣势
  - 最后一次可能丢失,fork的时候内存数据克隆,性能问题
- 如何停止
  - Redis-cli config set save ""
- 小总结
AOF(Append Only File:修复最后一次读写)
- 是什么
  - 以日志形式记录每个写操作,
  - 日志只追加文件,redis启动会读取文件重新构建数据,
  - 重启根据日志内容再次执行以完成恢复工作
- Aof保存的是appendonly.aof
- 配置位置
- Aof启动/恢复/修复
  - 正常恢复:
    
    启动设置为appendonly no->yes
    
    将所有数据aof文件复制到对应目录(config get dir)
    
    重启
  - 异常恢复:
    
    启动:设置yes
    
    找到被写坏的aof文件
    
    修复:redis-check-aof --fix name
    
    恢复:重启
- Rewrite
  - 是什么?
    
    Aof采用追加方式,文件越来越大,增加重写
    
    当文件大小超过所设阈值时,aof内容压缩
    
    只保留可以恢复数据的最小指令集,使用命令
    
    Bgrewriteaof
  - 重写原理
    
    Aof增加,会fork新进程将文件重写:注意不是读取aof,
    
    读取内存中数据重写了一个aof,与快照类似
  - 触发机制
    
    记录上次重写时aof大小,切大于64M
- 优势
  - 每秒同步,每修改同步,不同步
- 劣势
  - Aof文件远大于rdb,回复速度慢
  - 运行效率慢,尽量使用美妙同步策略,若不同步,效率与rdb相同
- 小总结
总结which one
- 官网建议:完整性低,快速->rdb
- 只做缓存:可以不使用任何备份,不用持久化
- 同时开启两种:先aof,aof比rdb完整.建议保留rdb
Redis的事务
- 是什么：一次多个命令,所有命令都会序列化,按顺序串行
- 能干嘛：一个队列中,一次性,顺序性,排他性,
- 怎么做
- 常用命令
  - Case 1:正常执行
  - Case 2:放弃事务
  - Case 3:全体连坐
  - Case 4:冤头债主
  - Case 5:watch监控
    
    悲观锁/乐观锁/cas(check and set)
    
    悲观锁:修改时上锁
    
    乐观锁:不会上锁,更新时判断有没有他人更新过数据,用版本号机制
    
    提交版本必须大于记录当前版本才能执行更新
- 小结
  - Watch类似乐观锁
  - 监控的数据被改,exec命令会被抛弃,返回nullmulti-bulk通知失败
3阶段
- Multi开启事务
- 命令入队
- 执行exec
3特性
- 单独的隔离操作:不会被其他客户端命令打断
- 没有隔离级别
- 不保证原子性:冤头债主:全体连坐
Redis的发布订阅(了解)
- 是什么：进程间的一种消息通信模式,发送者pub发送,订阅者sub接受
- 命令
源->channel->client

案例

Redis的复制
- 是什么
  - Replication:主从复制,主机更新后,根据配置策略,自动同步到备机的matser/salver机制
  - Master:写;slave:读
- 能干嘛
  - 读写分离
  - 容灾恢复
- 怎么做
  - 配从库不配主库
  - 从库配置:slaveof主库ip主库端口
    
    每次master断开之后都要重新连接,除非配置进redis.conf
  - 修改配置文件(不同的几个库)
    
    拷贝多个redis.conf
    
    开启daemonize yes
    
    Pid文件名字
    
    指定端口
    
    Log文件名字
    
    Dump.rdb名字
- 常用三招(以不同配置文件啊启动数据库)
  - 一主二仆
    
    分别连接数据库
    
    :Info replication//显示状态都是master
    
    :主机添加数据v1
    
    :丛机:slaveof 主机ip port (全量复制,从机变为slave:只能读)
    
    :主机:又加数据v2
    
    :丛机 get v2可以获得,注意也能get v1
    
    当主机故障:从机连接状态down,从机原地待命,主机随时连接
    
    从机故障:再次恢复时:身份变为master,再次slaveof
  - 薪火相传
    
    上一个slave可以使下一个slaver的master,slaver同样可以接受其他slaves的链接和同步请求,和减少主库的压力
    
    中途变更转向:会清除之前数据.
    
    中间的slave的身份:还是slave ,担有连接的slave
  - 反客为主
    
    从机:Slaveof no one:状态变为master
    
    其他主机要同步时:要再次slaveof......
复制原理
- Slave启动后连接到master 会发送sync命令同步
- Master接到后,若此时有修改数据命令,完成后再处理同步
- 全量复制:slave接收到数据库文件后
- 增量复制:master继续将新数据传给slave时,但只要是重新连接都会一次同步所有
哨兵模式sentinel

自动的反客为主:
- 调整结构:一主二仆
- 自定义/myredis目录下新建sentinel.conf文件,名字不能错
- 主机配置哨兵sentinel.conf(可监控多个master)
  - Sentinel monitor 数据库名字(自己起) 127.0.0.1 6379 1(选择主机方案,票数高的作为主机)
- 启动redis-sentinel sentinel.conf
  - 此时主机故障, 一段时间后会在从机中选出一个作为主机,(不用手动更改)
  - 主机恢复时:slave:变为新主机的slave(有延迟)
复制的缺点

复制延时,slave多问题更严重

Redis的java客户端(jedis)

Jedis常用操作
- 测试
```
Jedis jedis = new Jedis("127.0.0.1",6379);
System.out.println(jedis.ping());
Set jedis.set("k1","v1");
Get jedis.get("k1")
Set<String> listSet = jedis.keys("*");
```
- 事物提交
若事物执行时数据被更改,在执行exec时不会报错,只是事物内容不再执行
- 主从复制
  - 两个库,先各自独立
  - Jedis jedis_M = new Jedis("127.0.0.1",6379); Jedis jedis_S = new Jedis("127.0.0.1",6380); jedis_S.slaveof("127.0.0.1", 6379); jedis_M.set("k", "v"); String result=jedis_S.get("k"); System.out.println(result); //很可能获取不到(主从关系没建立)太快了,再次执行即可
Jedispool
相关阅读:
请求格式
 表格操作laytpl
layui的弹出框
 layui表格
 js概念
 栈,队列
 数据结构--线性数据结构
 Symbol详情: 在不支持es6的浏览器上,通过Babel转译
 jquery中用bootstrap中的表单验证及提交
 layui的layer报错 layer is not defined at checkUse
原文地址：https://www.cnblogs.com/Dean0731/p/13658699.html

概述

入门概述

3v+3高

Nosql的经典应用

Nosql数据模型简介

Nosql数据库的四大分类

在分布式数据库中CAP原理

Redis入门介绍

是什么

做什么

怎么做

Redis安装

Redis启动后杂项基础知识讲解

Redis数据类型

Redis五大数据类型string,hash,list,set,zset

获得常见类型操作命令

Redis key

Redis String

Redis list

Redis set

Redis hash

Redis zset(sorted set)有序集合

Units单位

配置文件

Replication复制

Append only mode追加比rdb较好

常见配置redis.conf介绍

Redis持久化

RDB(Redis DataBase)

AOF(Append Only File:修复最后一次读写)

总结which one

Redis的事务

3阶段

3特性

Redis的发布订阅(了解)

案例

Redis的复制

复制原理

哨兵模式sentinel

复制的缺点

Redis的java客户端(jedis)

Jedis常用操作

Jedispool