文章目录
数据库–>数据仓库–>数据湖的架构演变,反映的是数据需求变更
了解最近技术发展动态,记录一下相关知识点,跟上技术发展的步伐。
- 上半年参加系统分析师考试,论文部分有个论题 是关于AIOPS的。我在想实际工作中,我们连DEVOPS流程还没做好呢,AIOPS已经在一些大公司实施了。
- 刚刚过去的周六,参加系统架构设计师考试,论文部分又出现了数据湖的应用实践,数据湖与数据仓库的差异性有哪些?新的概念不断的冒出,基础知识,历史渊源做一个整理记录。
1、数据仓库是什么
“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon
数据仓库和数据库的区别就是OLAP和OLTP的区别。
数据库支持是OLTP,数据仓库支持的是OLAP
数据仓库一般基于数据库实现,数据仓库可以是基于关系数据库实现的称为ROLAP,数据仓库也可以是基于多维数据结构实现的为MOLAP
2、数据建模
数据仓库最为核心的内容分类两部分:
- 基于关系数据库的多维建模(RDBMS-based dimensional modeling)
建模方法论-结合RDBMS的范式理论,建模过程中涉及的几个概念:
雪花模型
星型模型
全量数据、增量数据
- 解决数据存储的拉链设计模式
- 基于数据立方体的OLAP查询(cube-based OLAP)