• Hadoop之redis命令


    1.redis简介

    Redis是一种面向“键/值”对数据类型的内存数据库,可以满足我们对海量数据的读写需求。

    redis的键只能是字符串

    redis的值支持多种数据类型:

        1:字符串 string
        2:哈希 hash
        3:字符串列表 list
        4 :字符串集合 set 不重复,无序
        5:有序集合sorted set ,不重复,有序
        6:HyperLogLog 结构(redis2.8.9版本之后才有,用来做基数统计的算法。

    特点:

    高性能(Redis读的速度是11W次/s,写的速度是8.1W次/s)

    原子性(保证数据的准确性)

    持久存储(两种方式RDB/快照,AOF/日志)

    主从结构(master-slave,负载均衡,高可用)

    集群(3.0版本)2014年

    应用:应用在高并发和实时请求的场景。

    新浪微博

    hash:关注列表,粉丝列表

    string:微博数,粉丝数(避免使用select count(*) from...)

    sorted set:TopN,热门微博

    2.redis基础命令

    获得符合规则的键名称

    keys 表达式(?,* ,[],\?)

    判断一个键是否存在

    exists key

    删除键

    del key

    del key1 key2

    批量删除

    redis-cli del `redis-cli keys "key*"`

    获得键值的数据类型type

    返回值可能是这五种类型(string,hash,list,set,zset)

    注意:redis不区分命令大小写

    3. redis的help命令

    "help @<group>" to get a list of commands in <group>

    "help <command>" for help on <command>

    "help <tab>" to get a list of possible help topics

    "quit" to exit

    4.redis数据类型之string

    字符串类型是redis中最基本的数据类型,它能存储任何形式的内容,包含二进制数据,甚至是一张图片(二进制内容)。一个字符串类型的值存储的最大容量是1GB

    命令

    set/get(setnx)

    mset/mget

    incr/decr/incrby/decrby/incrbyfloat

    append

    strlen

    5.redis数据类型之hash

    hash类型的值存储了字段和字段值的映射,字段值只能是字符串,不支持其他数据类型。hash类型的键至多可以存储 个字段。

    hash类型适合存储对象:

    redis可以为任何键增减字段而不影响其他键

    命令

    hset/hget/hmset/hmget/hgetall(hsetnx)

    hexists,判断键中的属性是否存在

    hincrby(hash类型没有hincr命令)

    hdel

    hkeys/hvals

    hlen(获取键中包含多少个字段)

    6.redis数据类型之set

    set集合中的元素都是不重复的,无序的,一个集合类型键可以存储至多        个元素
    set集合类型和list列表类型的相似之处,如图:2-1所示
    命令
    sadd/smembers/srem/sismember
    sdiff/sinter(交集)/sunion(并集)
    sdiffstore/sinterstore/sunionstore
    scard(获取集合长度)/spop(随机从集合中取出并删除一个元素)
    srandmember key [count]
    如果 count 为正数,且小于集合基数,那么命令返回一个包含 count 个元素的数组,数组中的元素各不相同。如果 count 大于等于集合基数,那么返回整个集合。
    如果 count 为负数,那么命令返回一个数组,数组中的元素可能会重复出现多次,而数组的长度为 count 的绝对值。

    7.redis数据类型之sorted set

    有序集合,在集合类型的基础上为集合中的每个元素都关联了一个分数,这样可以很方便的获得分数最高的N个元素(topN)。
    有序集合类型和列表类型的差异:见备注
    命令
    zadd/zscore/zrange/zrevrange/
    zrangebyscore(默认是闭区间,可使用"("使用开区间)
    zincrby/zcard/zcount(获取指定分数范围的元素个数)
    zrem/zremrangebyrank/zremrangebyscore
    扩展:+inf(正无穷)    -inf(负无穷)

    8.redis数据类型之HyperLogLog

    Redis HyperLogLog 是用来做基数统计的算法。
    优点:在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定 的、并且是很小的。因为在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基数。
    缺点:因为 HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。
    命令
    pfadd key element [element ...]
    pfcount key [key ...]
    pfmerge destkey sourcekey [sourcekey ...]

     

    9.易错点

    set命令
    (如果 key 已经持有其他类型值, SET 就覆盖旧值,无视类型。)

    10.java操作redis

    使用jedis第三方jar包操作redis
    mvn依赖

    <dependency>                         

         <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.7.0</version>


    </dependency>

    数据库连接方式
    单机单连接方式
    单机连接池方式
    多机分布式+连接池方式

    package cn.crxy.redis.test01;
    
    import static org.junit.Assert.*;
    
    import org.junit.Test;
    
    import redis.clients.jedis.Jedis;
    import redis.clients.jedis.JedisPool;
    import redis.clients.jedis.JedisPoolConfig;
    
    public class RedisUtils {
        private static JedisPool jedisPool = null;
        
        /**
         * 获取一个链接
         * @return
         */
        public static synchronized Jedis getJedis(){
            if(jedisPool==null){
                JedisPoolConfig poolConfig = new JedisPoolConfig();
                poolConfig.setMaxTotal(100);
                poolConfig.setMaxIdle(10);
                poolConfig.setMaxWaitMillis(1000);
                poolConfig.setTestOnBorrow(true);
                jedisPool = new JedisPool(poolConfig , "192.168.1.170", 6379);
            }
            Jedis jedis = jedisPool.getResource();
            return jedis;
        }
        
        /**
         * 返回一个链接
         * @param jedis
         */
        public static void returnJedis(Jedis jedis){
            jedisPool.returnResourceObject(jedis);    
        }
        
    }
    

     

     

    RedisTest

    package cn.crxy.redis.test01;
    
    import static org.junit.Assert.*;
    
    import java.util.List;
    
    import org.apache.commons.pool2.impl.GenericObjectPoolConfig;
    import org.junit.Test;
    
    import redis.clients.jedis.Jedis;
    import redis.clients.jedis.JedisPool;
    import redis.clients.jedis.JedisPoolConfig;
    import redis.clients.jedis.Pipeline;
    import redis.clients.jedis.Transaction;
    
    public class RedisTest {
        String host = "192.168.1.170";
        int port = 6379;
        Jedis jedis = new Jedis(host, port);
        @Test
        public void test1() throws Exception {
            String value = jedis.get("crxy");
            jedis.set("crxy", "www.crxy.cn");
        }
        
        
        
        @Test
        public void test2() throws Exception {
            JedisPoolConfig poolConfig = new JedisPoolConfig();
            poolConfig.setMaxTotal(100);
            poolConfig.setMaxIdle(10);
            poolConfig.setMaxWaitMillis(1000);
            poolConfig.setTestOnBorrow(true);
            JedisPool jedisPool = new JedisPool(poolConfig, host, port);
            Jedis jedis = jedisPool.getResource();
            String value = jedis.get("crxy");
            System.out.println(value);
            jedisPool.returnResourceObject(jedis);
        }
        
        
        
        /**
         * 限制网站访客的访问频率
         * @throws Exception
         */
        @Test
        public void test3() throws Exception {
            String ip = "127.0.0.1";
            for(int i=0;i<20;i++){
                boolean falg = testLogin(ip);
                System.out.println(i+"--"+falg);
            }
        }
    
        private boolean testLogin(String ip) {
            
            String value = jedis.get(ip);
            if(value==null){
                jedis.set(ip, 1+"");
                jedis.expire(ip, 60);
            }else {
                int parseInt = Integer.parseInt(value);
                if(parseInt>10){
                    System.out.println("访问受限!!!");
                    return false;
                }
                jedis.incr(ip);
            }
            return true;
        }
        
        
        @Test
        public void test4() throws Exception {
            String value = jedis.get("crxy");
            int parseInt = Integer.parseInt(value);
            System.out.println("休息一会");
            Thread.sleep(3000);
            parseInt++;
            jedis.set("crxy", parseInt+"");
        }
        
        @Test
        public void test5() throws Exception {
            jedis.watch("crxy");
            String value = jedis.get("crxy");
            int parseInt = Integer.parseInt(value);
            parseInt++;
            System.out.println("休息一会!!");
            Thread.sleep(3000);
            
            Transaction multi = jedis.multi();
            multi.set("crxy", parseInt+"");
            List<Object> exec = multi.exec();
            if(exec==null){
                System.out.println("值被修改了");
                test5();
            }else{
                System.out.println("正常执行了。、");
            }
            
            
        }
        
        
        
        
        @Test
        public void test6() throws Exception {
            long starttime = System.currentTimeMillis();
            for(int i=0;i<10000;i++){
                jedis.set("a"+i, i+"");
            }
            System.out.println(System.currentTimeMillis()-starttime);
        }
        
        
        @Test
        public void test7() throws Exception {
            long starttime = System.currentTimeMillis();
            Pipeline pipelined = jedis.pipelined();
            for(int i=0;i<10000;i++){
                pipelined.set("b"+i, i+"");
            }
            pipelined.sync();
            System.out.println(System.currentTimeMillis()-starttime);
        }
        
        
        
        
        
        
    
    }
     
    11.redis中键的生存时间(expire)
    

    redis中可以使用expire命令设置一个键的生存时间,到时间后redis会自动删除它。
    expire    设置生存时间(单位/秒)
    pexpire设置生存时间(单位/毫秒)
    ttl/pttl    查看键的剩余生存时间
    persist    取消生存时间
    expireat [key] unix时间戳1351858600
    pexpireat [key] unix时间戳(毫秒)1351858700000
    应用场景:
    限时的优惠活动
    网站数据缓存(对于一些需要定时更新的数据)
    限制网站访客访问频率(例如:1分钟最多访问10次)

     

    12.redis的事务(transaction)


    redis中的事务是一组命令的集合。事务同命令一样都是redis的最小执行单元。一组事务中的命令要么都执行,要么都不执行。(例如:转账)
    原理:先将属于一个事务的命令发送给redis进行缓存,最后再让redis依次执行这些命令。
    应用场景
    一组命令必须同时都执行,或者都不执行。
    我们想要保证一组命令在执行的过程之中不被其它命令插入。
    命令
    multi    事务开始
    .....
    exec    事务结束,开始执行事务中的命令
    discard    放弃事务
    错误处理
    1:语法错误:致命的错误,事务中的所有命令都不会执行
    2:运行错误:不会影响事务中其他命令的执行
    Redis 不支持回滚(roll back)
    正因为redis不支持回滚功能,才使得redis在事务上可以保持简洁和快速。
    java代码手工实现incr递增命令
    watch命令
    作用:监控一个或者多个键,当被监控的键值被修改后阻止之后的一个事务的执行。
    但是不能保证其它客户端不修改这一键值,所以我们需要在事务执行失败后重新执行事务中的命令。
    注意:执行完事务的exec命令之后,watch就会取消对所有键值的监控
    unwatch:取消监控

    13.redis中数据的排序(sort)

    sort命令可以对列表类型,集合类型和有序集合类型,以及hash类型键进行排序。
    sort key [desc] [limit offset count]
    by 参考键(参考键可以是字符串类型或者是hash类型的某个字段,hash类型的格式为:键名->字段名)
    如果参考键中不带*号则不排序
    如果某个元素的参考键不存在,则默认参考键的值为0
    扩展 get参数
    get参数的规则和by参数的规则一样
    get # (返回元素本身的值)
    扩展 store参数
    使用store 参数可以把sort的排序结果保存到指定的列表中
    性能优化
    1:尽可能减少待排序键中元素的数量
    2:使用limit参数只获取需要的数据
    3:如果要排序的数据数量很大,尽可能使用store参数将结果缓存。

    14.“发布/订阅”模式

    发布:publish
    例:publish channel message
    订阅:subscribe
    例:subscribe channel [.....]
    取消订阅:unsubscribe
    例:unsubscribe [channel]
    按照规则订阅:psubscribe
    例:psubscribe channel?
    按照规则取消订阅:punsubscribe
    注意:使用punsubscribe命令只能退订通过psubscribe 订阅的频道。

    15.redis任务队列

    任务队列:使用lpush和rpop(brpop)可以实现普通的任务队列。
    优先级队列:brpop key1 key2 key3 timeout second

    16.redis管道(pipeline)

    redis的pipeline(管道)功能在命令行中没有,但是redis是支持管道的,在java的客户端(jedis)中是可以使用的。
    测试发现:
    1:不使用管道方式,插入1000条数据耗时328毫秒
    for (int i = 0; i < 1000; i++) {
    jedis.set("test"+i, "test"+i);
    }

    2:使用管道方式,插入1000条数据耗时37毫秒
    Pipeline pipelined = jedis.pipelined();
    for (int i = 0; i < 1000; i++) {
    pipelined.set("test"+i, "test"+i);
    }
    pipelined.sync();

    17.redis持久化(persistence)

    redis支持两种方式的持久化,可以单独使用或者结合起来使用。
    第一种:RDB方式(redis默认的持久化方式)
    第二种:AOF方式

    18.redis持久化之RDB

    rdb方式的持久化是通过快照完成的,当符合一定条件时redis会自动将内存中的所有数据执行快照操作并存储到硬盘上。默认存储在redis根目录的dump.rdb文件中。(文件名在配置文件中dbfilename)
    redis进行快照的时机(在配置文件redis.conf中)
    save 900 1:表示900秒内至少一个键被更改则进行快照。
    save 300 10
    save 60 10000
    redis自动实现快照的过程,见备注
    手动执行save或者bgsave命令让redis执行快照。
    两个命令的区别在于,save是由主进程进行快照操作,会阻塞其它请求。bgsave是由redis执行fork函数复制出一个子进程来进行快照操作。
    文件修复:redis-check-dump
    rdb的优缺点
    优点:由于存储的有数据快照文件,恢复数据很方便。
    缺点:会丢失最后一次快照以后更改的所有数据。

     

     

    redis实现快照的过程

    1:redis使用fork函数复制一份当前进程的副本(子进程)

    2:父进程继续接收并处理客户端发来的命令,而子进程开始将内存中的数据写入硬盘中的临时文件

    3:当子进程写入完所有数据后会用该临时文件替换旧的RDB文件,至此,一次快照操作完成。

    注意:redis在进行快照的过程中不会修改RDB文件,只有快照结束后才会将旧的文件替换成新的,也就是说任何时候RDB文件都是完整的。

    这就使得我们可以通过定时备份RDB文件来实现redis数据库的备份

    RDB文件是经过压缩的二进制文件,占用的空间会小于内存中的数据,更加利于传输。


     

    19.redis持久化之AOF

    aof方式的持久化是通过日志文件的方式。默认情况下redis没有开启aof,可以通过参数appendonly参数开启。
    appendonly yes
    aof文件的保存位置和rdb文件的位置相同,都是dir参数设置的,默认的文件名是appendonly.aof,可以通过appendfilename参数修改
    appendfilename appendonly.aof
    redis写命令同步的时机
    appendfsync always 每次都会执行
    appendfsync everysec 默认 每秒执行一次同步操作(推荐,默认)
    appendfsync no不主动进行同步,由操作系统来做,30秒一次
    aof日志文件重写
    auto-aof-rewrite-percentage 100(当目前aof文件大小超过上一次重写时的aof文件大小的百分之多少时会再次进行重写,如果之前没有重写,则以启动时的aof文件大小为依据)
    auto-aof-rewrite-min-size 64mb
    手动执行bgrewriteaof进行重写
    重写的过程只和内存中的数据有关,和之前的aof文件无关。
    所谓的“重写”其实是一个有歧义的词语, 实际上, AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取, 它针对的是数据库中键的当前值。
    文件修复:redis-check-aof
    动态切换redis持久方式,从 RDB 切换到 AOF(支持Redis 2.2及以上)
    CONFIG SET appendonly yes
    CONFIG SET save ""(可选)
    注意:当redis启动时,如果rdb持久化和aof持久化都打开了,那么程序会优先使用aof方式来恢复数据集,因为aof方式所保存的数据通常是最完整的。
    注意:如果想把正在运行的redis数据库,从    RDB切换到AOF,建议先使用动态切换方式,再修改配置文件,重启数据库。(不能自己修改配置文件,重启数据库,否则数据库中数据就为空了。)

    20.redis中的config命令

    使用config set可以动态设置参数信息,服务器重启之后就失效了。
    config set appendonly yes
    config set save "90 1 30 10 60 100"
    使用config get可以查看所有可以使用config set命令设置的参数
    config get *
    使用config rewrite命令对启动 Redis 服务器时所指定的 redis.conf 文件进行改写(Redis 2.8 及以上版本才可以使用),主要是把使用config set动态指定的命令保存到配置文件中。
    config rewrite
    注意:config rewrite命令对 redis.conf 文件的重写是原子性的, 并且是一致的: 如果重写出错或重写期间服务器崩溃, 那么重写失败, 原有 redis.conf 文件不会被修改。 如果重写成功, 那么 redis.conf 文件为重写后的新文件。

    21.redis的安全策略

    设置数据库密码
    修改配置requirepass password
    验证密码auth password
    注意:在配置redis复制功能的时候如果主数据库设置了密码,需要在从数据的配置文件中通过masterauth参数设置主数据库的密码,这样从数据库在连接主数据库时就会自动使用auth命令认证了。相当于做了一个免密码登录。
    bind参数(可以让数据库只能在指定IP下访问)
    bind 127.0.0.1
    命令重命名
    修改命令的名称rename-command flushall cleanall
    禁用命令 rename-command flushall ""

  • 相关阅读:
    Stanford coursera Andrew Ng 机器学习课程编程作业(Exercise 2)及总结
    zookeeper Eclipse 开发环境搭建及简单示例
    PHP语言基础之MySql 05 By ACReaper
    【读书笔记】并发编程需要注意的几个典型问题
    Eclipse安装SVN
    html学习
    某浪PHP面试题及答案优化
    《卡特教练》观后感
    [Usaco2006 Nov]Roadblocks第二短路
    std::vector 两种操作的比较
  • 原文地址:https://www.cnblogs.com/chaoren399/p/2886779.html
Copyright © 2020-2023  润新知