• Hadoop集群安装


    一、Hadoop单节点部署

    1、首先在服务器上安装centos系统,将系统的ip配置为静态ip,方便hadoop集群中主机绑定

      

    2、Hadoop是java服务,需要借助JVM运行

      本地下载jdk安装包,在linux系统中通过rz命令上传jdk到自定义文件夹/usr/local/apps/下,解压jdk,并且将jdk配置到linux的环境变量中。在命令行键入java -version测试jdk是否安装成功。

    3、Hadoop安装

      在本地下载Hadoop安装包,上传到自定义文件夹/usr/local/apps/下,进行解压,将hadoop的安装路径也配置到环境变量中。然后修改hadoop中的配置文件。主要有/usr/local/apps/hadoop-2.8.1/etc/hadoop中的以下几个文件需要修改:

      a、vi core-site.xml

        

      b、vi hdfs-site.xml

        

      c、首先使用mv mapred-site.xml.template mapred-site.xml将文件.template后缀去掉,然后编辑文件

        

      d、vi yarn-site.xml

        

    4、将centos主机名和地址在linux系统文件中进行映射。vi /etc/hosts

      

      注:为了后续的集群将centos-01和centos-02两个主机名顺带配置进去

    5、hadoop单节点配置完成,下来启动hadoop

      (1)格式化namenode节点

        在hadoop的bin目录下,使用命令./hadoop naenode -format进行格式化

      (2)手动启动hdfs服务

        启动namenode进程: sbin/hadoop-daemon.sh start namenode

        启动datanode进程:sbin/hadoop-daemon.sh start datanode

          

      (3)手动启动yarn服务

        启动resourcemanager服务: sbin/yarn-daemon.sh start sourcemanager

        启动nodemanager服务:sbin/yarn-daemon.sh start nodemanager

          

      (4)使用hadoop中的自动化脚本进行服务的启动

        sbin/start-dfs.sh

        sbin/start-yarn.sh

    6、配置ssh的免密登录

      在登录放生成密钥对,使用命令: ssh-keygen

      将公钥拷贝到目标主机上,使用命令: ssh-copy-id 主机名

    7、要想实现hadoop节点可以在外部进行访问,关闭防火墙

      service iptables stop

    二、Hadoop的多节点安装和部署

    1、在服务器上新建两个主机,centos-01和centos-02,安装好jdk(同一中)

    2、将centos中的配置好的hadoop文件复制到centos-01和centos-02目录中,使用命令: scp 文件 目标主机:文件路径

    3、在主节点中修改文件/hadoop-2.8.1/etc/hadoop/slaves文件,将从节点的主机名添加进去:

      

    4、在主节点中使用命令start-all.sh启动所有的服务,检查从节点是否也启动

      

      

      

    5、至此三个节点的简单hadoop集群已经创建完毕

  • 相关阅读:
    关于思考力
    2019第24周日
    提高收入的方法
    工作中的管理
    技术是解决问题的一种手段
    Django的事务性
    shell单引号与变量、双引号与变量、如何在多重引号里面取到shell变量的值?
    django外键以及主表和子表的相互查询
    django数据模型中 null=True 和 blank=True 有什么区别?
    Django静态文件的加载以及STATIC_URL、 STATIC_ROOT 、STATICFILES_DIRS的区别
  • 原文地址:https://www.cnblogs.com/studyDetail/p/7701908.html
Copyright © 2020-2023  润新知