• 数据仓库的两种建模方法


    1. 范式建模
      • Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。优势:易于维护,高度集成;劣势:结构死板,部署周期较长
      • 范式建模应用在EDW层
      • 一个符合第三范式的关系必须具有以下三个条件:
        1. 每个属性的值唯一,不具有多义性;
        2. 每个非主属性必须完全依赖于整个主键,而非主键的一部分;
        3. 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。
      • 但是由于EDW的数据是原子粒度的,数据量比较大,完全规范的3范式在数据的交互的时候效率比较低下,所以通常会根据实际情况在事实表上做一些冗余,减少过多的数据交互。
    2. 维度建模
      • Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。同样的,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用维度建模方法建设一致维度的数据集市。通过一致性维度可以将数据集市联系在一起,由所有的数据集市组成数据仓库。优势:构建迅速,最快的看到投资回报率,敏捷灵活;劣势:作为企业资源不太好维护,结构复杂,数据集市集成困难。
      • 星型模型(推荐)和雪花模型

    在复合式的数据仓库架构中,操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据,利用范式建模方法,建设原子数据的数据仓库EDW,然后基于EDW,利用维度建模方法建设数据集市。

  • 相关阅读:
    05.Zabbix自动化监控
    k8s容器编排
    docker容器
    第一章·ELKstack介绍及Elasticsearch部署
    第二章·Elasticsearch内部分片及分片处理机制介绍
    第三章·Logstash入门-部署与测试
    第四章·Kibana入门-安装,索引添加及界面功能
    第五章·Logstash深入-日志收集
    第六章·Logstash深入-收集java日志
    第七章·Logstash深入-收集NGINX日志
  • 原文地址:https://www.cnblogs.com/benchen/p/6009532.html
Copyright © 2020-2023  润新知