• hadoop安装和基本知识


    安装教程:/home/yu/develop/hadoop-2.7.1/bin:/home/yu/develop/hadoop-2.7.1/sbin

    hadoop组成

      hadoop主要包括HDFS系统和MapReduce两个部分。

    HDFS文件系统

      hdfs文件系统特点:1.数据冗余,硬件容错

                2.流式数据访问。不允许修改,写一次读多次,想修改只能删除再写

                3.适合大容量文件,不适合大量小文件,因为文件每次读取都需要访问NameNode,NameNode会产生过大的负载

                4.不适合交互式,延迟较大

                5.不支持多个用户同时写一个文件

      hdfs文件被分成块进行存储,hdfs系统块默认大小为64MB块是文件存储的逻辑单元

      NameNode是管理节点,存放元数据。

        元数据主要存储两种表:1.文件与数据块的映射表   2.数据块与数据节点的映射表

        还存在二级NameNode定期元同步数据映像文件、修改日志,NameNode发生故障时二级NameNode转正

      DataNode是HDFS的工作节点,存放数据块

        1.HDFS中每个数块存三份,分布在两个机架的三个节点

        2.心跳检测:DataNode定期向NameNode放心跳消息

    MapReduce并行计算模型

      1.MapReduce概念

        

        Map:将一个大的任务分解成许多小任务,进行并行处理

        Reduce:将结果合并

      2..job和task

        一个作业成为job,一个job完成过程要拆分成多个task,task又分为JobTask和MapTask两类

      3..hadoop Mapreduce体系结构

        

        (1)Jobtracker

          a.作业调度

          b.分配任务、监控任务执行进度

          c.监控Tasktracker运行情况

        (2)TaskTracker

          a.执行任务

          b.汇报任务状态 

        4.MapReduce作业执行过程

      

      

        4.容错机制

          a.重复执行

          b.推测执行

            当一个节点执行过慢时会使用另一个节点与其共同计算相同的任务,当有一个节点完成时,另一个节点不在进行计算。

        

  • 相关阅读:
    百度高级搜索技巧
    JRebel插件使用详解
    css3自适应布局单位vw,vh详解
    vue的MVVM原理
    JS实现全屏和退出全屏
    设置不定宽高的元素垂直水平居中
    微信小程序启动更新机制
    了解MVVM原理
    xss攻击和csrf攻击的定义及区别
    跨站脚本漏洞(XSS)基础讲解
  • 原文地址:https://www.cnblogs.com/2017Crown/p/7339853.html
Copyright © 2020-2023  润新知