• Hadoop运行模式:本地模式、伪分布模式、完全分布模式


    1、本地模式:默认模式

      - 不对配置文件进行修改。

      - 使用本地文件系统,而不是分布式文件系统。

      - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。

      - 用于对MapReduce程序的逻辑进行调试,确保程序的正确。

    2、伪分布模式:等同于完全分布式,只有一个节点

      - 分为在HDFS上执行和在YARN上执行

      - Hadoop启动NameNode、DataNode、ResourceManager、NodeManager这些守护进程都在同一台机器上运行,是相互独立的Java进程。

      - 在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由ResourceManager服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。

      - 修改配置文件:

    • HDFS上:

      hadoop-env.sh(JAVA_HOME)、core-site.xml(配置Namenode,Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性,如文件副本数、secondarynamenode)、mapred-site.xml(配置MapReduce集群的属性)

    • YARN上:

      yarn-env.sh(配置JAVA_HOME)、yarn-site.xml(配置nodemanager、resourcemanager)、mapred-env.sh(配置JAVA_HOME)、mapred-site.xml(配置MapReduce集群的属性,指定运行在yarn上)

      - 分布式文件系统

    3、完全分布式模式:多个节点一个运行

      - Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。

      - 在所有的主机上安装JDK和Hadoop,组成相互连通的网络。

      - 在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。

      - 修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和ResourceManager的位置和端口,设置文件的副本等参数

      - 分布式文件系统

  • 相关阅读:
    算法作业10——0-1装载问题(背包问题)
    算法作业9-1——最长公共子序列问题
    算法作业9-2——背包问题
    算法作业7——投资问题
    算法作业6——选第k小的元素:特定分治策略
    【Java并发编程】并发编程大合集
    Redis学习笔记-Redis内部数据结构
    近期的随笔
    2013年的总结,比以往时候来得晚了一些
    探索推荐引擎内部的秘密,第 3 部分: 深入推荐引擎相关算法
  • 原文地址:https://www.cnblogs.com/MWCloud/p/11212814.html
Copyright © 2020-2023  润新知