• 实时-1.0 分析需求| 整体架构


    1. 需求分析

    离线T+1 需求

         一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。
    实时T+0 需求

        主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性,以及用户的交互性。

    即席需求

       临时需求,可用即席查询如Impala、Presto、 Kylin、 Druid等

    关于日志埋点 发送的两种策略:

      ① 周期性发送,把一段时间的日志,积攒起来,周期性的发送到后台;对日志后台收集系统压力小;非实时

      ② 直接发送,时效性非常好,后台收集压力大;

    1.1 实时需求:

    比如:

     1、当日活跃用户及分时趋势图,昨日对比图

       日志服务器 --- Kafka --- Spark --- Hbase

    2、当日新增用户及分时趋势图,昨日对比图

    3、当日交易额及分时趋势图,昨日对比图

          业务服务器 --Mysql ---Canal ---Kafka --- Hbase   

    4、当日订单数及分时趋势图,昨日对比图

    5、购物券功能风险预警

         日志服务器 -- Kafka --- Spark --- ES

    6、用户购买明细灵活分析功能

        业务服务器 -- Mysql -- Canal --- Kafka -- ES

     2. 统计架构图:

       2.1 实时架构:

      2.2 离线架构:

  • 相关阅读:
    python中常用的数据类型之整型(int),浮点型(float), 布尔值(bool), 复数(complex)
    requests库的基础使用
    socket,urllib,urllib3,request多种方法请求网页首页
    nginx日志切割
    gitlab社区版安装
    批量修改文件编码
    lvm磁盘扩展及添加磁盘lvm分区
    函数
    集合
    数据类型练习题
  • 原文地址:https://www.cnblogs.com/shengyang17/p/10853732.html
Copyright © 2020-2023  润新知