1 nosql的概念
sql:操作(关系型)数据库的标准查询语言
关系型数据库(rdbms):以关系(由行和列组成的二维表)模型为核心数据库,有表的储存系统。(mysql、oracle、sqlserver...)
nosql:针对非关系型数据库的语言,弥补关系型数据库的一些缺点,主要用到大的数据量或者高并发的场景下。
非关系型数据库分类:
2 Redis
2.1 Redis是什么
(1) Redis 是一个高性能的 开源的、C语言写的Nosql(非关系型数据库),数据保存可以存储在内存中或者磁盘中。
(2) Redis 是以key-value形式存储,和传统的关系型数据库不一样。不一定遵循传统数据库的一些基本要求,
比如说,不遵循sql标准,事务,表结构等等,redis严格上不是一种数据库,应该是一种数据结构化存储方
法的集合。(数据结构:数组,list,set,map等)
redis提供了一下操作方法,我们使用这些方法就可以对存入字符串,组织成各种类型数据库结构
(string,list,set,map等)
小结:
(1) redis开源 高性能nosql数据库,数据可以存储在内存或磁盘上面
(2) Redis 主要key-value结构形式存储,redis底层支持各种类型的数据存储结构
包括 list set map string等。
2.2 特点(优势)
1. 数据保存在内存,存取速度快,并发能力强。
2. 它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、 zset(sorted set --有序集合)
和hash(哈希类型)。
3. redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库(如MySQL)起到很好的补充作用。
4. 它提供了Java,C/C++,C#,PHP,JavaScript等客户端,使用很方便。
5. Redis支持集群(主从同步)。数据可以主服务器向任意数量从的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。
6. 支持持久化,可以将数据保存在硬盘的文件中。
7. 支持订阅/发布(subscribe/publish)功能 QQ群
总结:
1. 数据存储:存放在内存,还支持持久化.-存取速度快,并发能力强,数据安全性高
2. 支持value类
3. 支持多个语言客户端
4. 还支持集群(支持高并发,海量数据)
2.3 Redis的使用场景
(1) 最多,就是缓存(cache 使用空间换取时间) --redis
(2) 计数器应用 -- 微博 热点新闻 -- 转载 点赞(高并发)
(3) 实时防攻击系统 -- 银行网站 (登录) --计数 (ip 同一个ip + 5)
redis--支持断电恢复 内存和磁盘
(4) 有效期的应用 -- 道具 红包 优惠券 ...
(5) 支持无序的场景 -- set特效
(6) 队列 -->quene -->秒杀 抢购 --redis
(7) 消息系统订阅发布 -->redis(MQ消息队列--高并发 秒杀 抢购 转发 )
2.4 Mysql、Memcached和Redis的区别
|
mysql |
redis |
memcached |
类型 |
关系型 |
非关系型 |
非关系型 |
存储位置 |
磁盘 |
磁盘和内存 |
内存 |
存储过期 |
不支持 |
支持 |
支持 |
读写性能 |
低 |
非常高 |
非常高 |
3 使用redis-cli客户端操作Redis
3.1 对字符串操作
对value为string类型的常用操作:
set key value //将字符串值value关联到key
get key //返回key关联的字符串值
mset //同时设置一个或多个key-value对
mget //返回所有(一个或多个)给定key的值
incr key //将 key 中储存的数字值增1(key不存在,则初始化为0,再加1)
decr key //将 key 中储存的数字值减1(key不存在,则初始化为0,再减1)
incrBy key //自增多少
decrBy key //自减多少
3.2 对key的常用操作
keys * //获取所有key列表
del key //删除key
expire key xx //设置key的过期时间(xx秒后过期)
ttl key //查看key的过期时间
flushall //清空整个redis服务器数据,所有的数据库全部清空
flushdb //清除当前库,redis中默认有16个数据库,名称分别为0,1,2.。。15
select index --select 0
3.3 对list集合的常用操作
list集合可以看成是一个左右排列的队列(列表)
lpush key value //将一个或多个值 value 插入到列表 key 的表头(最左边)
rpush key value //将一个或多个值 value 插入到列表 key 的表尾(最右边)
lpop key //移除并返回列表 key 的头(最左边)元素。
rpop key //移除并返回列表 key 的尾(最右边)元素。
lrange key start stop//返回列表 key 中指定区间内的元素,查询所有的stop为-1即可
lrem key count value//根据count值移除列表key中与参数 value 相等的元素count > 0 : 从表头开始向表尾搜索,移除与 value 相等的元素,数量为 count 。count < 0 : 从表尾开始向表头搜索,移除与 value 相等的元素,数量为 count 的绝对值。count = 0 : 移除表中所有与 value 相等的值。
lindex key index //返回列表 key 中,下标为 index 的元素
ltrim key start stop //对一个列表进行修剪
存放都是字符串,由redis组织成各种数据结构,Redis怎么实现栈(FILO)和队列(FIFO)?
list控制同一边进,同一边出就是栈
list控制一边进,另一边出就是队列
3.4 对set集合的常用操作
set集合是一个无序的不含重复值的队列
sadd key member //将一个或多个 member 元素加入到集合 key 当中,已经存在于集合的 member 元素将被忽略
srem key member//移除集合 key 中的一个或多个 member 元素,不存在的 member 元素会被忽略
smembers key //返回集合 key 中的所有成员。
3.5 对hash类型的常用操作
hash类型类似于php的数组
hset key name value//添加一个name=>value键值对到key这个hash类型
hget key name //获取hash类型的name键对应的值
hmset key name1 key1 name2 key2 //批量添加name=>value键值对到key这个hash类型
hmget key name1 name2//批量获取hash类型的键对应的值
hkeys //返回哈希表 key 中的所有键
hvals //返回哈希表 key 中的所有值
hgetall //返回哈希表 key 中,所有的键和值
3.6 事务(弱事务,很少用)
multi //标记一个事务块的开始。
exec //执行所有事务块内的命令。
弱事务 : 日志
强事务 :同时成功 同时失败-- 金融数据
discard //取消事务,放弃执行事务块内的所有命令。
Redis的事务在执行exec指令时,才批量执行操作,没有回滚操作
3.7 设置密码
(1)通过命令动态调整密码
CONFIG SET 命令可以动态地调整 Redis 服务器的配置而无须重启,重启后失效
CONFIG SET requirepass 123456 //将密码设置为123456
CONFIG SET requirepass "" //清除密码
AUTH 123456 //输入密码进行认证
(2)通过配置文件设置密码
在配置文件redis.widows.conf中增加一行代码
requirepass 123456
将密码123456设置到配置文件中,redis启动时加载该文件,即可启用密码
4 通过java操作Redis
4.1 选择java客户端
原来mysql需要使用jdbc,现在需要redis的一个java客户端jedis。
jedis是客户端,而reids是服务器。使用jedis这个java客户端操作redis数据库。
4.2 jedis简单操作
4.2.1 简单配置
使用jedis客户端,完成jedis简单操作
@Test public void test()throws Exception{ //创建连接 String host ="127.0.0.1"; int port = 6379; int timeout = 1000;//超时时间,1秒超时 Jedis jedis = new Jedis(host,port,timeout); jedis.auth("admin"); //执行操作 jedis.set("yhptest","yhptest dbl!"); System.out.println(jedis.get("yhptest")); //关闭连接 jedis.close(); }
4.2.2 配置连接池
通过jedis连接池,简单操作redis数据库
// 思想:如果创建一个对象后需要为他设置很多值,还不如先创建它配置对象并做完配置,然后再通过配置对象创建它 //1 创建jedispool配置对象 //2 做配置-四个 //3 创建jedispool //4 通过jedispool获取连接 //5 执行操作 // 6 释放连接 // 7 摧毁连接池-如果是真正项目中它应该是一个受spring管理的单例 @Test public void test()throws Exception{ //1 创建jedispool配置对象 JedisPoolConfig config = new JedisPoolConfig(); //2 做配置-四个 config.setMaxIdle(2); config.setMaxTotal(10); config.setMaxWaitMillis(1*1000); //创建连接超时 config.setTestOnBorrow(true);//获取连接是测试连接是否畅通 //3 创建jedispool //1*1000 获取连接超时时间 JedisPool pool = new JedisPool(config, "127.0.0.1",6379,1*1000,"admin"); //4 通过jedispool获取连接 Jedis jedis = pool.getResource(); //5 执行操作 jedis.set("jedispooltest","dbldblddzt....."); System.out.println(jedis.get("jedispooltest")); // 6 释放连接 jedis.close(); //底层做了兼容,如果是连接池操作就是释放,如果是连接操作就是关闭 // 7 摧毁连接池-如果是真正项目中它应该是一个受spring管理的单例 pool.destroy(); }
4.3 jedis数据结构操作
@Test public void testRedis() throws Exception { Jedis jedis = new Jedis("127.0.0.1", 6379, 1000 * 10); jedis.auth("123456"); jedis.set("name", "龙傲天"); System.out.println(jedis.get("name")); jedis.close(); } @Test public void testRedisPool() throws Exception { //连接池 JedisPoolConfig config = new JedisPoolConfig(); config.setMaxIdle(2); config.setMaxTotal(10); JedisPool jedisPool = new JedisPool(config, "127.0.0.1", 6379, 1000 * 10, "123456"); Jedis jedis = jedisPool.getResource(); jedis.flushDB(); //字符串操作 jedis.set("name", "赵日天"); jedis.set("age", "18"); System.out.println(jedis.get("name")); System.out.println(jedis.get("age")); System.out.println(jedis.keys("*")); System.out.println("========================================"); //list集合操作 jedis.lpush("students","五五开","芜湖神","王慕霸","古手羽","芜湖神"); System.out.println(jedis.lrange("students", 0, -1)); jedis.lrem("students", 1, "芜湖神"); System.out.println(jedis.lrange("students", 0, -1)); System.out.println("========================================"); //set集合操作 jedis.sadd("users","古天乐","刘德华","梁朝伟","黎明","张学友","刘德华"); System.out.println(jedis.smembers("users")); jedis.srem("users","张学友"); System.out.println(jedis.smembers("users")); System.out.println("========================================"); //hash操作 jedis.hset("players", "name","James"); System.out.println(jedis.hget("players", "name")); System.out.println("========================================"); //排序 jedis.lpush("nums","3","6","2","9","1"); System.out.println(jedis.lrange("nums", 0, -1)); System.out.println(jedis.sort("nums",new SortingParams().desc())); jedis.lpush("language","php","c++","java","h5","test","ui"); System.out.println(jedis.lrange("language", 0, -1)); SortingParams sortingParams = new SortingParams().desc().alpha(); System.out.println(jedis.sort("language", sortingParams)); jedis.flushDB(); jedis.close(); jedisPool.destroy(); }
事务操作
@Test public void testTransaction() throws Exception { JedisPoolConfig config = new JedisPoolConfig(); config.setMaxIdle(2); config.setMaxTotal(10); JedisPool jedisPool = new JedisPool(config, "127.0.0.1", 6379, 1000 * 10, "123456"); Jedis jedis = jedisPool.getResource(); jedis.flushDB(); jedis.set("name", "XXX"); jedis.set("age", "18"); Transaction transaction = jedis.multi(); transaction.incr("name"); transaction.incr("age"); List<Object> exec = transaction.exec(); System.out.println(exec); jedis.close(); jedisPool.destroy(); }
5 Redis持久化
持久化(持久层,dao层,mapper层):把数据保存到磁盘的过程就叫持久化
Redis支持内存和磁盘存储,磁盘存储提供两种方案:
rdb方式:save 1 1 最快的保存方法,1s中发生一次变化,如果保存数据在1s内完成,容易造成数据丢失,丢失1s数据。
aof方式:开启 appendonly yes ,在操作的时候,把数据写到日志文件,在启动的时候 ,恢复日志文件(日志方式)。
6 Redis的淘汰策略
什么时候才淘汰数据: --》内存到一定极限的时候,这个时候,需要淘汰数据
淘汰一些数据,达到redis数据都是有效的。选择合适的淘汰策略进行淘汰。
volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
no-enviction(驱逐):禁止驱逐数据
redis 确定驱逐某个键值对后,会删除这个数据并,并将这个数据变更消息发布到本地(AOF 持久化)和从机(主从连接)。
lru: 最近最少使用 -- 常用 (统计次数)
ttl: 将要过期中淘汰 --也可以 (统计时间)
random:随机数据 --这个数据就没有那么重要 (随机)