• ETL基础1(概念)


    抽取(Extract):

    一般抽取过程需要连接到不同的数据源,以便为随后的步骤提供数据。这一部分看上去简单而琐碎,实际上它是 ETL 解决方案的成功实施的一个主要障碍。

    转换(Transform):

    任何对数据的处理过程都是转换。这些处理过程通常包括(但不限于)下面一些操作:
    移动数据
    根据规则验证数据
    数据内容和数据结构的修改
    将多个数据源的数据集成
    根据处理后的数据计算派生值和聚集值


    加载(Load):

    将数据加载到目标系统的所有操作。
    概念扩展:ELT,EII(Enterprise information integration)/Data federation

    架构图:

    架构图

    商业ETL

    1 Informatica
    2 IBM DataStage
    3 Microsoft SSIS
    4 Oracle ODI

    开源ETL

    1 Kettle
    2 Talend
    3 CloverETL
    4 Ketl,Octopus …
  • 相关阅读:
    17-DBSCAN密度聚类
    16-K-means聚类
    15-TF-IDF
    14-支持向量机SVM
    13-感知机原理概述
    12-随机森林
    11-集成学习原理概述
    10-决策树
    9-朴素贝叶斯
    栈和队列(python)
  • 原文地址:https://www.cnblogs.com/kamil/p/5838951.html
Copyright © 2020-2023  润新知