• 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)


    新手发帖,很多方面都是刚入门,有错误的地方请大家见谅,欢迎批评指正

        

    1、环境说明

        群集环境少至要需3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以互相ping通,面下举例说明,配置节点IP分配如下:

        

    Hostname IP 新建户用 新建户用密码
    Master 10.10.10.213 hadoop 123456
    Slave1 10.10.10.214 hadoop 123456
    Slave2 10.10.10.215 hadoop 123456

        三个节点均用使centos 6.3系统,为了便于维护,群集环境配置项最好用使同相户用名、户用密码、同相hadoop、hbase、zookeeper录目结构。

        

    2、准备工作

        

    2.1、修改Hostname

        为了群集可以畸形稳定的运行,我们要需将个每节点的hostname别分配置为对应的Master、Slave1、Slave2。

        (1)在Master服务器中执行以下令命:

    hostname Master	//前当效有
    vi /etc/sysconfig/network	//启重后失效
    HOSTNAME=Master

        (2)在Slave1服务器中执行以下令命:

    hostname Slave1	//前当效有
    vi /etc/sysconfig/network	//启重后失效
    HOSTNAME=Slave1

        (3)在Slave2服务器中执行以下令命:

    hostname Slave2	//前当效有
    vi /etc/sysconfig/network	//启重后失效
    HOSTNAME=Slave2

        

    2.2、添加Hosts映射系关

        别分在三个节点下通过如下令命修改hosts映射系关:

    vi /etc/hosts

        添加内容如下:

    Master	10.10.10.213
    Slave1	10.10.10.214
    Slave2	10.10.10.215

        

    2.3、配置JDK环境

        Hadoop群集必须赖依JDK环境,所以这里我们首先要需配置好JDK环境,样同为了管理,我们议建服务器中的节点JDK安装环境均在同相径路下。

        

    2.3.1、解压安装包

        拷贝jdk件文jdk-6u25-linux-x64.bin到/usr/lib/java件文录目(该录目可自行义定)下,解压安装包,如果件文权限被制约,可通过如下令命停止赋权限作操:

    chmod u+w jdk-6u25-linux-x64.bin

        

    2.3.2、修改环境配置息信

    vi /etc/profile

        在最后加上:

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_25
    export PATH=$PATH:$JAVA_HOME/bin 
    export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

        通过销注或者以下令命使修改失效:

    source /etc/profile

        

    2.3.3、检查前当JDK版本息信

    java -version

        

    2.3.4、充补(可选)

        如果查看前当的JDK版本不是刚才设置的JDK版本,则可以停止默许JDK版本设置作操:

    sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300   
    sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300   
    sudo update-alternatives --config java(选择jdk1.6.0_25版本的序号就行)

        

    2.4、安装SSH

        Centos系统安装时默许可以选择安装SSH,ubuntu下可以通过如下令命停止安装(提前是必须联网):

    sudo apt-get install ssh
    sudo apt-get install rsync

        

    2.5、新建户用

        为了hadoop群集的全安与便利管理,我们要另外新建户用,并设置密码,令命如下:

    sudo adduser hadoop
    sudo passwd hadoop

        上述令命中,第一行令命新建了一个user为hadoop的户用,第二行令命是为这个hadoop户用设置密码,样同最好服务器之间均保持一致。

        

    2.6、配置群集之间SSH无密码登岸

        群集环境的用使必须通过ssh无密码登岸来执行,本机登岸本机必须无密码登岸,主机与从机之间必须可以向双无密码登岸,从机与从机之间无制约。以本次为例,比如Master与Slave1之间的无密码登岸设置骤步如下:

        (1)进入Master服务器,停止无密码自登岸设置

    ssh hadoop@Master	//登岸Master
    ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa
    cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys	//成生密钥
    chmod 700 ~/.ssh && chmod 600 ~/.ssh/*	//设置权限

        如果不知道是不是配置胜利,可通过如下令命停止验证:

    ssh localhost

        如果上述令命不要需输入密码则表现配置胜利。

        进入Slave1服务器,停止无密码自登岸设置,作操同上,只要将对应的Master为改Slave1可即,此处省略。

        (2)进入Master服务器,设置Master->Slave1的无密码登岸

    ssh hadoop@Master	//登岸Master
    cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys'
    ssh hadoop@Slave1	//若此处不要需输入密码则配置胜利

        (3)进入Slave1服务器,设置Slave1->Master的无密码登岸

    ssh hadoop@Slave1	//登岸Slave1
    cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys'
    ssh hadoop@Master	//若此处不要需输入密码则胜利

        以上就是Master与Slave1之间的向双无密码登岸配置。Master与Slave2之间的配置道理同上述基本一样,所以不再赘述。

        

    3、Hadoop群集安装配置

        

    3.1、修改hadoop配置件文

        每日一道理
    漫漫人生路,谁都难免会遭遇各种失意或厄运。在凄风苦雨 惨雾愁云的考验面前,一个强者,是不会向命运低头的。风再冷,不会永远不息;雾再浓,不会经久不散。风息雾散,仍是阳光灿烂。

        在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的6个件文:

        (1)core-site.xml

    <configuration>
    	<property>
    		<name>fs.default.name</name>
    		<value>hdfs://Master:9000</value>
    	</property>
    </configuration>

        (2)hadoop-env.sh

        在该件文中加上如下一行码代:

    export JAVA_HOME=(你配置的jdk径路,比如:/usr/java/jdk1.6.0_25)

        (3)hdfs-site.xml

    <configuration>	
    	<property>
    		<name>dfs.name.dir</name>
    		<value>/home/hadoop/temp/hadoop</value>
    	</property>
    	<property>
    		<name>dfs.data.dir</name>
    		<value>/home/hadoop/temp/hadoop</value>
    	</property>
    	<property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>
    	<property>
    		<name>dfs.support.append</name>
    		<value>true</value>
    	</property>
    </configuration>

        (4)mapred-site.xml

    <configuration>
    	<property>
    		<name>mapred.job.tracker</name>
    		<value>Master:9001</value>
    	</property>
    	<property>
    		<name>mapred.acls.enabled</name>
    		<value>false</value>
    	</property>
    </configuration>

        (5)Masters

    Master

        (6)Slaves

    Slave1
    Slave2

        

    3.2、步同安装包

        将解压修改后的hadoop-1.0.3件文夹别分拷贝到Master、Slave1、Slave2的同相hadoop安装径路下。

        

    3.3、启动Hadoop群集

        进入Master的hadoop-1.0.3录目,执行以下作操:

    bin/hadoop namenode -format	//式格化namenode,第一次启动服务前执行的作操,后以不要需执行
    bin/start-all.sh	 //启动hadoop
    jps	//用jps令命能看到除jps外有5个进程

        至此,hadoop群集配置进程结束。可通过浏览器地址http://10.10.10.213:50070 查看节点用启状态验证配置是不是胜利。

        

    4、Zookeeper群集安装配置

        

    4.1、修改zookeeper配置件文zoo.cfg

        在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz ,进入到conf录目,将zoo_sample.cfg拷贝一份命名为zoo.cfg(Zookeeper 在启动时会找这个件文作为默许配置件文),开打该件文停止修为改以下式格(注意权限问题,如果最后配置有问题请检查进程中权限是不是准确)。

    dataDir=/home/hadoop/temp/zookeeper/data
    
    server.0=10.10.10.213:2888:3888
    server.1=10.10.10.214:2888:3888
    server.2=10.10.10.215:2888:3888

        

    4.2、新建录目、新建并编辑myid件文

        (本次配置myid件文放在/home/hadoop/temp/zookeeper/data录目下)

    mkdir /home/hadoop/temp/zookeeper/data	//dataDir录目
    vi /home/hadoop/temp/zookeeper/data/myid

        注意myid件文中的内容为:Master中为0,Slave1中为1,Slave2中为2,别分与zoo.cfg中对应起来。

        

    4.3、步同安装包

        将解压修改后的zookeeper-3.4.3件文夹别分拷贝到Master、Slave1、Slave2的同相zookeeper安装径路下。注意:myid件文的内容不是一样的,各服务器中别分是对应zoo.cfg中的设置。

        

    4.4、启动zookeeper

        Zookeeper的启动与hadoop不一样,要需个每节点都执行,别分进入3个节点的zookeeper-3.4.3录目,启动zookeeper:

    bin/zkServer.sh start

        注意:此时如果报错先不会理,继承在另两台服务器中执行同相作操。

        

    4.5、检查zookeeper是不是配置胜利

        待3台服务器均启动后,如果进程准确的话zookeeper应当经已主动选好leader,进入每台服务器的zookeeper-3.4.3录目,执行以下作操查看zookeeper启动状态:

    bin/zkServer.sh status

        如果涌现以下码代表现安装胜利了。

    [java] view plaincopy
    JMX enabled by default  
    Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg  
    Mode: follower	//或者有且只有一个leader

        

    5、HBase群集安装配置

        

    5.1、修改hbase配置件文

        在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的3个件文:

        (1)hbase-env.sh

    export JAVA_HOME=/usr/lib/java/jdk1.6.0_25	//JDK的安装录目
    export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf	//hadoop的安装录目
    export HBASE_MANAGES_ZK=true

        (2)hbase-site.xml

    <configuration>
    	<property>
    		<name>hbase.rootdir</name>
    		<value>hdfs://Master:9000/hbase</value>
    	</property>  	
    	<property>
    		<name>hbase.cluster.distributed</name>
    		<value>true</value>
    	</property>
    	<property>
    		<name>hbase.zookeeper.property.clientPort</name>
    		<value>2181</value>
    	</property>
    	<property>
    		<name>hbase.zookeeper.quorum</name>
    		<value>Master</value>
    	</property>
    	<property>
    		<name>hbase.zookeeper.property.dataDir</name>
    		<value>/home/hadoop/temp/zookeeper</value>
    	</property>
    	<property>
    		<name>dfs.support.append</name>
    		<value>true</value>
    	</property>
    </configuration>

        (3)regionservers

    Slave1
    Slave2

        

    5.2、步同安装包

        将解压修改后的hbase-0.94.1-security件文夹别分拷贝到Master、Slave1、Slave2的同相hbase安装径路下。

        

    5.3、启动HBase

        进入Master的hbase-0.94.1-security录目,执行以下作操:

    bin/start-hbase.sh	//之后用jps查看是不是全部进程都已启动

        至此,hbase服务配置进程结束。可通过浏览器地址http://10.10.10.213:60010 查看hbase是不是可用。

        也可以执行以下令命,进入hbase shell停止验证。

        

    6、结语

        

    关于hadoop、zookeeper、hbase的启动与闭关序顺:启动时hadoop和zookeeper意随前后,但是hbase必须最后启动,闭关时hbase必须首先闭关,然后意随前后闭关hadoop、zookeeper。否则,会涌现异常。

    关于各软件的安装包可以去官网下载,不同版本的安装配置可能会有少量的变化,而且版本搭配如果不一样的话也可能涌现问题,有问题就针对性地去查,这样学习才有步进。

    文章结束给大家分享下程序员的一些笑话语录: 打赌
    飞机上,一位工程师和一位程序员坐在一起。程序员问工程师是否乐意和他一起玩一种有趣的游戏。工程师想睡觉,于是他很有礼貌地拒绝了,转身要睡觉。程序员坚持要玩并解释说这是一个非常有趣的游戏:"我问你一个问题,如果你不知道答案,我付你5美元。然后你问我一个问题,如果我答不上来,我付你5美元。"然而,工程师又很有礼貌地拒绝了,又要去睡觉。  程序员这时有些着急了,他说:"好吧,如果你不知道答案,你付5美元;如果我不知道答案,我付50美元。"果然,这的确起了作用,工程师答应了。程序员就问:"从地球到月球有多远?"工程师一句话也没有说,给了程序员5美元。  现在轮到工程师了,他问程序员:"什么上山时有三条腿,下山却有四条腿?"程序员很吃惊地看着工程师,拿出他的便携式电脑,查找里面的资料,过了半个小时,他叫醒工程师并给了工程师50美元。工程师很礼貌地接过钱又要去睡觉。程序员有些恼怒,问:"那么答案是什么呢?"工程师什么也没有说,掏出钱包,拿出5美元给程序员,转身就去睡觉了。

  • 相关阅读:
    JavaWeb:JSP标准标签库
    SpringMVC:学习笔记(6)——转换器和格式化
    SpringMVC:学习笔记(5)——数据绑定及表单标签
    SpringMVC:学习笔记(1)——理解MVC及快速入门
    SpringMVC:学习笔记(4)——处理模型数据
    SpringMVC:学习笔记(2)——RequestMapping及请求映射
    SpringMVC:学习笔记(3)——REST
    Spring MVC中使用Swagger生成API文档和完整项目示例Demo,swagger-server-api
    Spring MVC中使用Swagger生成API文档和完整项目示例Demo,swagger-server-api
    隆中对,程序员修炼之道,技术学习前进之路
  • 原文地址:https://www.cnblogs.com/xinyuyuanm/p/3067519.html
Copyright © 2020-2023  润新知