• 【redis 学习系列07】Redis小功能大用处01 慢查询分析以及Redis Shell


    Redis提供了5种数据结构已经足够强大,但除此之外,Redis还提供了诸如慢查询分析、功能强大的Redis Shell、Pipeline、事务与Lua脚本、Bitmaps、HyperLogLog、发布订阅、GEO等附加功能,这些功能可以在某些场景发挥重要作用。

    • 慢查询分析:通过慢查询分析,找出有问题的命令进行优化;
    • Redis Shell:功能强大的Redis Shell会有意想不到的使用功能;
    • Pipeline:通过Pipeline(管道或者流水线)机制有效提高客户端性能;
    • 事务与Lua:制作自己的专属原子命令;
    • Bitmaps:通过在字符串数据结构上使用位操作,有效节省内存,为开发提供了新思路;
    • HyperLogLog:一种基于概率的新算法,难以想象地节省内存空间;
    • 发布订阅:基于发布订阅的消息通信机制;
    • GEO:Redis 3.2提供了基于地理位置信息的功能。

    1、慢查询分析

    许多存储系统(例如Mysql)提供慢查询日志帮助开发人员和运维人员定位系统中存在的慢操作。所谓慢查询日志就是系统在命令执行前后计算每条命令执行的时间,当超过预设阈值,就将这条命令的相关信息(例如:发生时间、耗时、命令的详细信息)记录下来,Redis也提供了类似功能。

    如图3-1所示,Redis客户端执行一条命令分为如下4个部分:

    • 发送命令
    • 命令排队
    • 命令执行
    • 返回结果

    注意,慢查询只统计步骤3的时间,所以没有慢查询并不代表客户端没有超时问题

    1.1 慢查询的两个配置参数

    对于慢查询功能,需要明确两件事:

    • 预设阈值怎么设置?
    • 慢查询记录存在在哪?

    Redis提供了slowlog-log-slower-thanslowlog-max-len配置来解决这两个问题。从字面意思就可以看出,slowlog-log-slower-than就是预设的阈值,它的单位是微秒(1秒=1000毫秒=1000 000微秒),默认值时10 000,假如执行了一条“很慢”的命令(例如keys *),如果它的执行时间超过了10 000微秒,那么它将被记录在慢查询日志中。slowlog-max-len只说明了慢查询日志最多能存储多少条,并没有说明存放在哪里,实际上Redis使用了一个列表来存储慢查询日志slowlog-max-len就是这个列表的最大长度。一个新的命令满足慢查询条件时被插入到这个列表中,当查询日志列表已处于其最大长度时,最早插入的一个命令将被从列表中移出。例如slowlog-max-len设置为5,当有第6条慢查询日志插入时,则队头的第一条数据就会出列,第6条慢查询就会入列。

    在Redis中有两种修改配置的方法,一种是修改配置文件,另一种就是使用config set 命令动态修改。例如下面使用config set 命令将slowlog-log-slower-than设置为20 000微秒,slowlog-max-len设置为1000。

    1 config set slowlog-log-slower-than 20000
    2 config set slowlog-max-len 1000
    3 config rewrite

    如果要Redis将配置持久化到本地配置文件,需要执行 config rewrite 命令

    虽然慢查询日志是存放在Redis内存列表中的,但是Redis并没有暴露这个列表的键,而是通过一组命令来实现对慢查询日志的访问和管理。下面就介绍这几个命令。

    (1)获取慢查询日志

    1 slowlog get [n]

    下面的操作返回当前Redis的慢查询,参数n可以指定条数:

    可以看到每个慢查询日志有4个属性组成,分别是慢查询日志的标识id、发生时间戳、命令耗时和参数。

    (2)获取慢查询日志列表当前长度

    1 slowlog len

    (3)慢查询日志重置

    1 slowlog reset

    实际上reset命令是对列表做清理操作。

    1.2 慢查询总结

    慢查询功能可以有效的帮助我们找到Redis可能存在的瓶颈,但在实际使用过程中还需要注意一下几点:

    (1)slowlog-max-len配置建议:线上建议加大慢查询列表,记录慢查询时Redis会对常命令做阶段操作,并不会占用大量内存。慢查询列表可以减缓查询被剔除的可能,例如线上可设置为1000以上。

    (2)slowlog-log-slower-than配置建议:默认值超过10毫秒判定为慢查询,需要根据Redis的并发量对该值进行调整。由于Redis采用单线程响应命令,对于高流量的场景,如果命令执行时间在1毫秒以上,那么Redis最多可支撑QPS不到1000。因此对于高QPS场景的Redis建议设置为1毫秒。

    (3)慢查询只记录命令查询时间,并不包括命令排队和网络传输时间。为此客户端执行命令的时间会大于实际执行时间。因为命令执行排队机制,慢查询会导致其它命令级联阻塞,因此当客户端出现请求超时,需要检查该时间点是否有对应的慢查询,从而分析出是否为慢查询导致的命令级联阻塞。

    (4)由于慢查询日志是一个先进先出的队列,也就是说如果慢查询比较多的情况下,可能丢失部分慢查询命令,为了防止这种情况的发生,可以定期执行slow get 命令将慢查询日志持久化到其它存储中(例如Mysql),然后可以制定可视化界面进行查询。

    2、Redis Shell

    Redis提供了redis-cli、redis-server、redis-benchmark等Shell工具。

    [待补充]

  • 相关阅读:
    用R语言实现对不平衡数据的四种处理方法
    用R语言实现对不平衡数据的四种处理方法
    Java学习——Applet画8个同心圆
    Java学习——Applet画8个同心圆
    Java学习——Applet写字符串(调字体)
    Java学习——Applet写字符串(调字体)
    ZOJ 2913 Bus Pass (近期的最远BFS HDU2377)
    机房结账功能分析
    数据结构记录--排序
    C#创建PDF文档
  • 原文地址:https://www.cnblogs.com/xuelisheng/p/10804484.html
Copyright © 2020-2023  润新知