• hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)


    -------------------------------------------------------------------*

    目录                              *

    I    hadoop分布式安装                      *

    II  zookeeper分布式安装                    *

    III hbase分布式安装                       *

    IV  pig分布式安装                       *

    V    hive客户端安装                       *

    --------------------------------------------------------------------*

    1. hadoop分布式安装

      ----------------------------

      Master  192.168.137.100

      Slaver1   192.168.137.101

      Slaver2   192.168.137.102

      ----------------------------

      1.1  设置IP地址  【server network restart】 && 【ifconfig】

      1.2  关闭防火墙  【server iptables stop】 && 【server iptables status】 

      1.3  永久关闭防火墙  【chkconfig iptables off】 && 【chkconfig --list | grep iptables】

      1.4  设置主机名  【hostname Master】->【vi /etc/sysconfig/network】

      1.5  ip与hostname绑定  【vi /etc/hosts】 && 【ping Master】

      1.6  设置ssh免密码登录  

        (1)ssh-keygen -t rsa(Master、Slaver1、Slaver)

            cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(Master、Slaver1、Slaver)

        (2)ssh-copy-id -i id_rsa.pub root@Slaver1(Master)

               ssh-copy-id -i id_rsa.pub root@Slaver1(Slaver2)

        (3)scp authorized_keys Master:/root/.ssh/authorized_keys 

            scp authorized_keys Slaver2:/root/.ssh/authorized_keys 

      1.7  安装jdk

        执行命令  (1)cd /usr/local

              (2)chmod u+x jdk-6u24-linux-i586.bin

              (3)./jdk-6u24-linux-i586.bin

              (4)mv jdk-1.6.0_24  jdk

              (5)vi /etc/profile 增加内容如下:

                   export JAVA_HOME=/usr/local/jdk
                 export PATH=.:$JAVA_HOME/bin:$PATH

              (6)source /etc/profile

        验证  java -version

      1.8  安装hadoop(下载hadoop-1.2.1.tar.gz到usr/local)

        执行命令  (1)tar -xzvf hadoop-1.2.1.tar.gz

              (2)mv hadoop-1.2.1 hadoop

              (3)vi /etc/profile 增加内容如下:

                export JAVA_HOME=/usr/local/jdk
                export HADOOP_HOME=/usr/local/hadoop
                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

              (4)source /etc/profile

              (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slavers

              (6)scp jdk/hadoop Slaver1/Slaver2:/usr/local

      1.9  验证hadoop

              (1)hadoop namenode -format

              (2)start-all.sh

        验证  (1)在Master执行命令jps, 如看到3个新的java进程,分别是 NameNode、SecondaryNameNode、JobTracker  

            (2)在Slaver1/Slaver2执行命令jps, 如看到2个新的java进程,分别是 DataNode、askTracker

            (3)在浏览器中查看, http://Master:50070 http://Master:50030

    2. zookeeper分布式安装

    我喜欢一无所有,这样就只能一步一步的创造世界...
  • 相关阅读:
    Java 注解指导手册(下)
    CentOS安装Redis Sentinel HA集群
    EasyBCD安装CentOS双系统
    读《大型网站技术架构核心原理与案例分析》
    CentOS的Redis内存分配策略配置
    CentOS搭建VSFTP
    freemaker分页备忘
    jenkins持续集成配置备忘
    Redis常用命令
    stream转byte数组几种方式
  • 原文地址:https://www.cnblogs.com/riordon/p/4064185.html
Copyright © 2020-2023  润新知