• 数据仓库-基本框架和内容


    数据仓库:
      维度建模
      数据分层
      命名规范
      元数据管理

    数据模型设计
      前提设定: 物理世界的每一个度量事件 与对应的 事实表行 具有一对一的关系
      内涵:数据组织,存储和使用的方法
      注意方面: 功能实现 质量管理 性能效率 存储成本和收益 可扩展和方便维护
        适应变化,一致性,及时, 安全 可追溯
        适应变化: 业务快速发展, 人员快速变化, 业务功底不足
      要什么:
        指标和度量: 原子型
        比例 比率 变化型 排名型

    1.维度建模:
      01.维度建模基本概念:
        主题域 粒度 维度 度量 事实表
        维度: 缓慢变化维
      02.维度建模5步骤:
        确定主题域 业务过程
        确定粒度   特定级别的细节数据,细节程度 01.粒度是维度的组合 02 业务含义
        确定维度
        确定度量 创建事实表

      说明:
        维度属性:
          查询的约束条件 分组汇总和排序, 确定主维度 和相关维度,从相关维度表中选择或生成新的维度
          多值维度
          维度的层次结构; 层次结构扁平化 层次桥接表
        时间周期: 计算周期

      03.维度
        缓慢变化维 : 重新维度值 增加维度行 增加维度列
        维度建模总线
        维度退化
        维度整合和拆分

      04.事实表选用

        事务事实表
        周期快照事实表
        累积快照事实表


    2 数据分层

         从业务角度: 运营层(数据缓存,数据准备)、公共层(模型,标准)、服务层(应用服务,数据产品)

     从技术角度
        数据近源层、
        公用模型层 (公共明细层、公共汇总层、公共维度层)
        数据应用层

    3.命名规范
      数据表名 表意 表字符长度

    4.元数据管理

         技术元数据

        业务元数据

    5.数据管理和评估
      数据分级: 分级依据-指标敏感等级,-指标重要等级
      价值评估 容错率 调用率


    6.指标分类体系
      以数仓分层(ODS-CDM<DWD/DWS/DIM>-ADS),
      维度建模作为理论基础,构建数据总线。标准化数据域、业务过程、维度、度量,
      按原子指标、派生指标(原子指标+业务限定+时间周期构建)、衍生指标(派生指标的简单复合运算),形成指标构建方式分类体系。

    参考:

      

  • 相关阅读:
    vue-router 中 router-link 与 a 标签的区别
    html select标签 点击选中事件
    ie11卸载不了怎么办
    eclipse导入web项目及Tomcat 部署
    oracle "记录被另一个用户锁定"
    前端jinput:[DOM] Input elements should have autocomplete attributes (suggested: "current-password"): (More info: https://goo.gl/9p2vKq)
    vue 前端报:TypeError: Failed to execute 'setRequestHeader' on 'XMLHttpRequest': Value is not a valid ByteString.
    windows 环境下微信js支付 sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException
    JavaSE第25篇:枚举、XML
    JavaSE第23篇:网络编程
  • 原文地址:https://www.cnblogs.com/ytwang/p/13612382.html
Copyright © 2020-2023  润新知