• DW2.0


    一、DW2.0从企业的角度,吸引企业的原因:

           1.数据仓库基础设施的成本不再持续增长。在第一代数据仓库中,技术基础设施的成本是不断增长的,随着数据量的增长,基础设施的成本会以指数级增长。但是使用DW2.0,数据仓库的这一成本会趋于平稳。

           2.使用元数据将基础设施结合在一起,这意味着数据不会轻易丢失。在第一代数据仓库中,一个数据单元或一个数据类型是很容易“丢失”的。这就像纽约市立图书馆书架上的一本书摆错了位置一样,一旦摆错位置,可能需要若干年才能将其放回容易被人们找到的位置。第一代数据仓库环境下的数据也是如此。而作为DW2.0骨干的元数据则不会令数据轻易丢失。

           3.数据访问速度快。数据根据其访问概率放置,因此它的数据访问性能比第一代数据仓库环境更为有效

           4.存档需求的关注。第一代数据仓库中很少有甚至没有存档数据,因此数据只能存储相对较短的一段时间。而在DW2.0环境下,数据时被存档的,这样它就能够永久保存下去,或者视需要而定。

           5.数据仓库吸引大量的数据。DW2.0中数据是分段的,终端用户需要处理的数据量就会少得多。

    二、 DW2.0与第一代数据仓库的区别:

           1.dw2.0产生了对数据生命周期的认识

           2.数据仓库中包含非结构化数据

           3.dw2.0环境包含元数据

           4.dw2.0的技术基础能够随着时间而变化

    三、DW2.0数据生命周期

    数据的生命周期:

    第一代数据仓库:将数据存放在某种形式的磁盘存储器

    第二代数据仓库:四个数据生命周期“分区”(如上图所示,可知DW2.0的数据结构)

    交互区:数据存入数据仓库后迅速进入交互区。随着数据的调整,数据被整合后传递到整合区

    整合区:整合的数据时在整合区被发现的,并且一直位于整合区,直至其访问概率下降。数据的访问概率往往会伴随着存储时间的增加而下降。通常情况下,3-4年后,整合区数据的访问概率会明显下降。

    近线区:在许多方面,近线区就像是整合区的延伸。近线区是可以选择的,亦即数据不一定需要经过这一区,但是当数据量非常大并且数据间的访问概率差别很大时,就可以利用近线区来处理。

    归档区:数据访问概率很低,数据可以从近线区也可以从整合区进入归档区。归档区的数据通常是5-10年,甚至更长。

     

     

    DW2.0设置不同区的原因:

    不同区之间区别的核心问题是:数据从一个区传递到另一个区时,数据的基本操作参数随之改变。

    在区与区之间,数据的访问概率和访问模式差别很大。

    交互区的数据被频繁访问,并且其访问模式是随机访问。

    整合区数据的被访问概率也很高,但通常是顺序、成串的访问。

    近线区的数据访问概率相对较低,并且在访问时是随机的。

    归档区的数据很少被访问,它能够被顺序地、不定期地、随机地访问。

    除了不同的访问模式外,不同的区在数据量上也有很明显的差别。交互区的数据量相对较小。整合区的数据较多。如果一个企业中完全是近线数据,那么近线区通常会有相当大数量的数据。归档区的数据也可能显著增长,即使最初几年收集的归档数据相对较少,但随着时间的推移,大量数据完全有可能聚集到归档区。

     

    四、DW2.0 元数据

     

     对于交互数据,元数据分开存储;对于归档数据,元数据与数据一起存储。

     

    五、DW2.0非结构化数据

    一般存在两种类型的数据:结构化数据和非结构化数据。

    结构化数据:相同的格式和布局,存储在数据库记录中,记录中包含属性、键、索引、表格等。

    非结构化数据:有两种基本形式---文本的和非文本的。

    文本的非结构化数据出现在很多地方---电子邮件、电话交谈、幻灯片演示等。非文本的非结构化数据出现在诸如图形和图像里,包含不仅照片、X射线、核磁共振、图片、插图等等。

    筛选“废话”仅仅是为DW2.0环境准备非结构化数据需要做的众多步骤中的第一步。

    DW2.0环境准备非格式化数据的第二个主要步骤是读取特定数据,并对特定数据添加一般数据,使得数据适合分析。做不到这点就是对时间和机会的浪费。

  • 相关阅读:
    global mapper合并多个tif影像
    arcgis 10.2 licence manager无法启动
    Error C2079 'CMFCPropertySheet::m_wndOutlookBar' uses undefined class 'CMFCOutlookBar'
    家里的技嘉B360主板win10 uefi系统安装
    vc 6.0项目转为vs 2017项目遇到 的问题
    PPT学习笔记
    git拉取分支
    将本地源码推向gitee码云
    java反编译工具使用记录
    node.js install and cecium apply
  • 原文地址:https://www.cnblogs.com/zourui4271/p/5025897.html
Copyright © 2020-2023  润新知