• 操作Hadoop集群


    操作Hadoop集群

    所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。

    一般来说,建议HDFS和YARN作为单独的用户运行。在大多数安装中,HDFS进程作为“hdfs”执行。YARN通常使用“纱线”帐户。

    Hadoop启动

    要启动Hadoop集群,您需要启动HDFS和YARN集群。

    首次升级HDFS时,必须格式化。将新的分布式文件系统格式化为hdfs:

    [hdfs] $ $ HADOOP_HOME / bin / hdfs namenode -format <cluster_name>
    在指定的节点上使用以下命令启动HDFS NameNode作为hdfs:

    [hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start namenode
    在每个指定的节点上使用以下命令启动HDFS DataNode :hdfs:

    [hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start datanode
    如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有HDFS进程。作为hdfs:

    [hdfs] $ $ HADOOP_HOME / sbin / start-dfs.sh
    开始使用以下命令,在指定的ResourceManager为运行纱线纱:

    [纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动资源管理器
    运行一个脚本来在每个指定的主机上启动一个NodeManager作为纱线:

    [纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动nodemanager
    启动独立的WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:

    [纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动代理服务器
    如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有YARN进程。由于纱线:

    [纱线] $ $ HADOOP_HOME / sbin / start-yarn.sh
    使用以下命令启动MapReduce JobHistory服务器,在映射的指定服务器上运行:

    [mapred] $ $ HADOOP_HOME / bin / mapred --daemon启动历史记录服务器
    Hadoop关机

    使用以下命令停止NameNode,在指定的NameNode上运行hdfs:

    [hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop namenode
    运行脚本来停止DataNode作为hdfs:

    [hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop datanode
    如果配置了etc / hadoop / worker和ssh可信访问(请参阅单节点安装),所有HDFS进程可能会使用实用程序脚本停止。作为hdfs:

    [hdfs] $ $ HADOOP_HOME / sbin / stop-dfs.sh
    停止使用下面的命令,在指定的ResourceManager作为运行的ResourceManager 纱:

    [纱线] $ $ HADOOP_HOME / bin / yarn --daemon停止资源管理器
    运行一个脚本来停止一个工作的NodeManager作为纱线:

    [纱线] $ $ HADOOP_HOME / bin / yarn  -  daemon stop nodemanager
    如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本停止所有YARN进程。由于纱线:

    [纱线] $ $ HADOOP_HOME / sbin / stop-yarn.sh
    停止WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:

    [纱线] $ $ HADOOP_HOME / bin /纱线停止代理服务器
    使用以下命令停止MapReduce JobHistory服务器,在映射的指定服务器上运行:

    [mapred] $ $ HADOOP_HOME / bin / mapred --daemon stop historyserver

  • 相关阅读:
    中国科学院2021年硕转博考试分析试题参考解答
    蒲和平大学生数学竞赛教程答案5.1.3
    清华大学2021年数学推荐免试试题参考解答
    蒲和平大学生数学竞赛教程答案4.1.1
    兰州大学历年数学分析高等代数考研试题答案
    复旦大学2021年数学英才实验班选拔考试试题参考解答pdf
    北京大学2021年基础学科招生考试数学试题
    南开大学2021年数学伯苓班/复旦大学2021年数学英才实验班选拔考试试题
    实变函数与泛函分析第05次课:至1.5.2(请点阅读全文进课堂)
    中国科学技术大学2021年新生入学考试试题
  • 原文地址:https://www.cnblogs.com/burningmyself/p/7056334.html
Copyright © 2020-2023  润新知