若想要分析用户的行为,不外乎数据采集、数据交换、数据存储、数据计算、数据展示这几个过程。
(1)数据采集:首先在UI层进行埋点,用来监控用户的信息,这样就可以收集到用户的操作行为;API层的话可以通过日志服务系统来采集;
(2)数据交换:采集到的数据可以通过某种方式传输到服务器进行逻辑上转换处理;
- 实时数据采集,如Flume/GGS
- 消息总线,如Kafak
- 数据编排,如Nifi
(3)数据存储:如HDFS/HBASE/MYSQL等存储系统;
(4)数据计算:
- 批处理,如HIVE/MR/SPARK
- 流处理:Spark Streaming
(5)数据展示:活跃度、自定义事件、用户画像、应用和错误分析
- Grafana
- RDK
- Echart