• 【实战篇】大数据实时数仓项目从架构设计到落地实施


    注:由于文章篇幅有限,获取资料可直接扫二维码,更有深受好评的大数据实战精英+架构师好课你。

    大数据技术交流QQ群:207540827


    速点链接加入高手战队:http://www.dajiangtai.com/course/112.do

    项目概述

    某电商平台拟对电商网站的各种行为数据进行分析(业务过程包括访问、浏览、购买、支付等),辅助产品经理和管理人员了解产品现有情况,并持续改进产品设计,制定和调整公司战略目标,进而达到提升公司业绩的目标。

    业务数据库和上报到服务器的埋点日志数据会经过数据采集、清洗、存储、分析、可视化这一完整流程,通过对海量用户行为数据的分析,可以帮助电商网站找到网站的优化思路,从而在海量用户数据的基础上对网站进行改进和完善。

    项目需求分析

    用户session统计

    用户在电商网站上有很多行为,每一次行为操作称之为一个action,本项目中我们关注如下四种用户行为:

    1)点击

    2)搜索

    3)下单(购买)

    4)支付

    session就是某个时间某个用户从进入网站开始,做了大量的操作(多个action),最后离开/关闭浏览器/不过任何动作导致超时的过程。该需求主要是对session进行统计,包括:1)session聚合指标

    2)按时间随机抽取session

    3)按天统计点击、下单、购买top 10品类

    4)top10品类中排名前10的session

    区域热门商品统计

    按天统计出各个区域top 3热门商品。主要帮助管理者了解不同区域商品的整体情况,从而对商品相关战略调整提供依据。可基于Hive或者Flink SQL实现。

    广告流量实时统计

    电商网站/app一般会接入第三方广告平台,这也是电商平台的核心收入来源之一。广告招商完成后,广告主的广告会在网站/app的某些广告位上发布,用户访问网站/app会曝光该广告,用户可能会点击改广告。电商网站可以按照曝光量、点击量等方式来收费。

    统计广告流量实时数据,让高管和产品经理实时掌握各种广告投放效果,便于调整广告投放战略和策略,并进行优化,以最大化广告收益。本模块分析的广告流量主要包括曝光量和点击量:

    1)各城市广告曝光量和点击量统计

    2)各区域每个广告实时点击流统计

    3)各区域top 3点击量广告统计

    实时方案设计

    数据处理流程设计

    由于文章篇幅有限,获取资料可直接扫二维码。

    大数据技术交流QQ群:207540827

  • 相关阅读:
    滑雪(dp好题)
    田忌赛马
    反质数(Antiprimes)
    LCA-倍增法(在线)
    二模 (2) day2
    Spring Integration
    [转载] Spring MVC
    收藏夹
    Linux profile File
    git merge 与 rebase 的区别
  • 原文地址:https://www.cnblogs.com/dajiangtai/p/12462250.html
Copyright © 2020-2023  润新知