• Redis6:第六章:(2)Redis6 新数据类型:HyperLogLog


    一、HyperLogLog 简介

      在工作当中,我们经常会遇到与统计相关的功能需求,比如统计网站PVPageView页面访问量),可以使用Redisincrincrby轻松实现。

      但像UVUniqueVisitor,独立访客)、独立IP数、搜索记录数等需要去重和计数的问题如何解决?这种求集合中不重复元素个数的问题称为基数问题。

      解决基数问题有很多种方案:

      (1)数据存储在MySQL表中,使用distinct  count计算不重复个数

      (2)使用Redis提供的hashsetbitmaps等数据结构来处理

      以上的方案结果精确,但随着数据不断增加,导致占用空间越来越大,对于非常大的数据集是不切实际的。

      能否能够降低一定的精度来平衡存储空间?Redis推出了HyperLogLog

      Redis HyperLogLog 是用来做基数统计的算法,HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的、并且是很小的。

      在 Redis 里面,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基数。这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比。

      但是,因为 HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身,所以 HyperLogLog 不能像集合那样,返回输入的各个元素。

      扩展:什么是基数?

      比如数据集 {1, 3, 5, 7, 5, 7, 8}, 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)5。 基数估计就是在误差可接受的范围内,快速计算基数。

     

    二、命令

    1、pfadd

      (1)格式

    pfadd <key>< element> [element ...]   添加指定元素到 HyperLogLog 中
    

            

      (2)实例

         

        将所有元素添加到指定HyperLogLog数据结构中。如果执行命令后HLL估计的近似基数发生变化,则返回1,否则返回0

    2、pfcount

      (1)格式

    pfcount<key> [key ...] 
    计算HLL的近似基数,可以计算多个HLL,比如用HLL存储每天的UV,计算一周的UV可以使用7天的UV合并计算即可

        

          模拟计算一周的UV:

        

      (2)实例

        

    3、pfmerge

      (1)格式

    pfmerge<destkey><sourcekey> [sourcekey ...]  
    将一个或多个HLL合并后的结果存储在另一个HLL中,比如每月活跃用户可以使用每天的活跃用户来合并计算可得

           

      (2)实例

        

  • 相关阅读:
    iOS自动化测试环境搭建总结
    Python合成多个视频为一个脚本
    Python复制单个文件为多个脚本
    量化投资对于数据源、回测、实盘平台的选择
    使用蒙特卡罗模拟期权定价
    JavaScript 中 call()、apply()、bind() 的用法
    Separate MW and UI
    How to add lintstaged to your react project
    MSSQL语法笔记
    数据库索引失效七字口诀
  • 原文地址:https://www.cnblogs.com/niujifei/p/15822293.html
Copyright © 2020-2023  润新知