• 数仓 分层架构


    ods层:
    数据来源及建模方式:各业务系统的源数据,物理模型与业务模型一致;
    服务领域: 为其它逻辑层提供数据;
    数据ETL过程描述:把业务数据抽取落地成文本文件,再装载到数据仓库ods层,不做清洗转化。
    功能:
    1)ods是数仓准备区
    2)为dwd提供原始数据
    3)减少对业务系统影响
    建模方式及原则:
    数据保留时间根据实现业务需求而定;
    可以分表进行周期性存储,存储周期不长;
    从业务系统以增量方式抽取加载到ods;
    数据模型与粒度与业务系统一致(3NF)。

    dwd层:
    数据来源及建模方式:数据来自于ods层,是DW明细事实层,数据模型与ods层一致;
    服务领域:为edw提供各主题业务明细数据;
    数据ETL过程描述:根据ods增量数据和前一天DWD相关表进行merge生成全量数据,不做清洗转化,保留原始全量数据。
    功能:
    1)为DW层提供来源明细数据
    2)为未来分析类需求的扩展提供历史数据支持。
    建模方式及原则:
    为支持数据重跑可额外增加数据业务日期字段;
    可按天月年进行分表;


    dw层:
    数据来源及建模方式:数据来自dwd层,是DW事实层,采用维度建模,星型架构,这一层可细分为dwb与dws;
    服务领域:为EDS提供各主题业务明细;
    数据ETL过程描述:从dwd层进行轻度清洗,转化,汇总生成dw层数据,如字符合并,email,证件号,日期,手机号转换合并;按各个维度进行聚合汇总。


    dm层:
    数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
    服务领域:数据挖掘,自定义查询,应用集市;
    数据ETL过程描述:从dw层进行粗粒度聚合汇总,按业务需求对事实进行拉宽形成宽表。

    st层:
    数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
    服务领域:前端报表展示,主题分析,kpi报表;
    数据ETL过程描述:从dw层进行粗粒度聚合汇总,如按年、月、季、天对一些维度进行聚合生成业务需求的事实数据。

  • 相关阅读:
    『实践』Yalmip建模+Cplex类求解(文末附程序、文章和算例)
    『实践』Matlab实现Flyod求最短距离及存储最优路径
    『转载』Matlab中fmincon函数获取乘子
    『实践』Yalmip获取对偶函数乘子
    『转载』hadoop 1.X到2.X的变化
    『转载』hadoop2.x常用端口、定义方法及默认端口
    『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现
    C#设计模式学习笔记:(6)适配器模式
    ASP.NET 开源导入导出库Magicodes.IE 导出Pdf教程
    Rx基础
  • 原文地址:https://www.cnblogs.com/linkmust/p/11654488.html
Copyright © 2020-2023  润新知