• 04_Apache Hadoop 生态系统


    内容提纲:

    1 Apache Hadoop 生态系统的认识(Hadoop 1.x Hadoop 2.x

    2 Apache Hadoop 1.x 框架架构原理的初步认识

    3 Apache Hadoop 1.x 安装的三种模式

    Hadoop 1.x 生态系统

    ETL: 提取à转换à加载:从数据库中获取数据,并进行一系列的数据清理和清洗筛选,将合格的数据进行转换成一定的格式数据进行存储,将格式化的数据存储到 HDFS 文件系统上,以供计算框架进行数据分析和挖掘。

    格式化数据:

    |- TSV 格式:每行数据的每列之间以【制表符 进行分割

    |- CSV 格式:每行数据的每列之间以【逗号】进行分割

    Sqoop:将关系型数据库中的数据与 HDFSHDFS 文件,HBase 中表,Hive 中的表)上的数据行相互导入导出。

    Flume:收集各个应用系统和框架的日志,并将其放到 HDFS 分布式文件系统的相应制定的目录下。

    Hadoop 2.x 生态系统

     

    对于分布式系统和框架的架构来说,一般分为两部分:

    第一部分:管理层,用于管理应用层的

    第二部分:应用层(工作的)

    HDFS,分布式文件系统,

    NameNode :属于管理层,用于管理数据的存储

    SecondaryNameNode:也属于管理层,辅助 NameNode 进行管理

    DataNode :属于应用层,用户进行数据的储存,被 NameNode 进行管理,要定时的向 NameNode

    进行工作汇报,执行 NameNode 分配分发的任务。

    MapReduce ,分布式的并行计算矿建,

    JobTracker属于管理层,管理集群资源和对任务进行资源调度,监控人去的执行。

    TaskTracker:属于应用层,执行 JobTracker 分配分发的任务,并向 JobTracker 汇报工作情况。

    NameNode,存储文件的元数据,

    1文件名称

    2文件的目录结构

    3文件的属性(权限,副本数,生成的时间)

    4文件à(对应)Blockà(存储在)DataNodes

     

    Apache Hadoop 安装部署模式

    伪分布模式(Pseudo-Distributed Mode),

      1一台机器上运行所有的 Hadoop 服务(五个守护进程)。

    2我们整个课程,基本上都是使用伪分布式环境(尤其是讲解 MapReduce

  • 相关阅读:
    SpringBoot(三)——使用Thymeleaf模板
    “Usage of API documented as @since 1.8+”报错的解决办法
    JAVA的多态性
    SQL的JOIN语句
    共享锁和排他锁
    软件工程团队作业---项目选题报告
    结对作业
    PMS---团队展示
    第二次作业——个人项目实战
    第一次作业---准备
  • 原文地址:https://www.cnblogs.com/xiangyangzhu/p/5242264.html
Copyright © 2020-2023  润新知