新手发帖,很多方面都是刚入门,有错误的地方请大家见谅,欢迎批评指正
1、环境说明
群集环境少至要需3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以互相ping通,面下举例说明,配置节点IP分配如下:
Hostname | IP | 新建户用 | 新建户用密码 |
Master | 10.10.10.213 | hadoop | 123456 |
Slave1 | 10.10.10.214 | hadoop | 123456 |
Slave2 | 10.10.10.215 | hadoop | 123456 |
三个节点均用使centos 6.3系统,为了便于维护,群集环境配置项最好用使同相户用名、户用密码、同相hadoop、hbase、zookeeper录目结构。
2、准备工作
2.1、修改Hostname
为了群集可以畸形稳定的运行,我们要需将个每节点的hostname别分配置为对应的Master、Slave1、Slave2。
(1)在Master服务器中执行以下令命:
hostname Master //前当效有
vi /etc/sysconfig/network //启重后失效
HOSTNAME=Master
(2)在Slave1服务器中执行以下令命:
hostname Slave1 //前当效有
vi /etc/sysconfig/network //启重后失效
HOSTNAME=Slave1
(3)在Slave2服务器中执行以下令命:
hostname Slave2 //前当效有
vi /etc/sysconfig/network //启重后失效
HOSTNAME=Slave2
2.2、添加Hosts映射系关
别分在三个节点下通过如下令命修改hosts映射系关:
vi /etc/hosts
添加内容如下:
Master 10.10.10.213 Slave1 10.10.10.214 Slave2 10.10.10.215
2.3、配置JDK环境
Hadoop群集必须赖依JDK环境,所以这里我们首先要需配置好JDK环境,样同为了管理,我们议建服务器中的节点JDK安装环境均在同相径路下。
2.3.1、解压安装包
拷贝jdk件文jdk-6u25-linux-x64.bin到/usr/lib/java件文录目(该录目可自行义定)下,解压安装包,如果件文权限被制约,可通过如下令命停止赋权限作操:
chmod u+w jdk-6u25-linux-x64.bin
2.3.2、修改环境配置息信
vi /etc/profile
在最后加上:
export JAVA_HOME=/usr/lib/java/jdk1.6.0_25 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar
通过销注或者以下令命使修改失效:
source /etc/profile
2.3.3、检查前当JDK版本息信
java -version
2.3.4、充补(可选)
如果查看前当的JDK版本不是刚才设置的JDK版本,则可以停止默许JDK版本设置作操:
sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300 sudo update-alternatives --config java(选择jdk1.6.0_25版本的序号就行)
2.4、安装SSH
Centos系统安装时默许可以选择安装SSH,ubuntu下可以通过如下令命停止安装(提前是必须联网):
sudo apt-get install ssh sudo apt-get install rsync
2.5、新建户用
为了hadoop群集的全安与便利管理,我们要另外新建户用,并设置密码,令命如下:
sudo adduser hadoop sudo passwd hadoop
上述令命中,第一行令命新建了一个user为hadoop的户用,第二行令命是为这个hadoop户用设置密码,样同最好服务器之间均保持一致。
2.6、配置群集之间SSH无密码登岸
群集环境的用使必须通过ssh无密码登岸来执行,本机登岸本机必须无密码登岸,主机与从机之间必须可以向双无密码登岸,从机与从机之间无制约。以本次为例,比如Master与Slave1之间的无密码登岸设置骤步如下:
(1)进入Master服务器,停止无密码自登岸设置
ssh hadoop@Master //登岸Master ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //成生密钥 chmod 700 ~/.ssh && chmod 600 ~/.ssh/* //设置权限
如果不知道是不是配置胜利,可通过如下令命停止验证:
ssh localhost
如果上述令命不要需输入密码则表现配置胜利。
进入Slave1服务器,停止无密码自登岸设置,作操同上,只要将对应的Master为改Slave1可即,此处省略。
(2)进入Master服务器,设置Master->Slave1的无密码登岸
ssh hadoop@Master //登岸Master cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys' ssh hadoop@Slave1 //若此处不要需输入密码则配置胜利
(3)进入Slave1服务器,设置Slave1->Master的无密码登岸
ssh hadoop@Slave1 //登岸Slave1 cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys' ssh hadoop@Master //若此处不要需输入密码则胜利
以上就是Master与Slave1之间的向双无密码登岸配置。Master与Slave2之间的配置道理同上述基本一样,所以不再赘述。
3、Hadoop群集安装配置
3.1、修改hadoop配置件文
在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的6个件文:
(1)core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://Master:9000</value> </property> </configuration>
(2)hadoop-env.sh
在该件文中加上如下一行码代:
export JAVA_HOME=(你配置的jdk径路,比如:/usr/java/jdk1.6.0_25)
(3)hdfs-site.xml
<configuration> <property> <name>dfs.name.dir</name> <value>/home/hadoop/temp/hadoop</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/temp/hadoop</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> </configuration>
(4)mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>Master:9001</value> </property> <property> <name>mapred.acls.enabled</name> <value>false</value> </property> </configuration>
(5)Masters
Master
(6)Slaves
Slave1 Slave2
3.2、步同安装包
将解压修改后的hadoop-1.0.3件文夹别分拷贝到Master、Slave1、Slave2的同相hadoop安装径路下。
3.3、启动Hadoop群集
进入Master的hadoop-1.0.3录目,执行以下作操:
bin/hadoop namenode -format //式格化namenode,第一次启动服务前执行的作操,后以不要需执行 bin/start-all.sh //启动hadoop jps //用jps令命能看到除jps外有5个进程
至此,hadoop群集配置进程结束。可通过浏览器地址http://10.10.10.213:50070 查看节点用启状态验证配置是不是胜利。
4、Zookeeper群集安装配置
4.1、修改zookeeper配置件文zoo.cfg
在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz ,进入到conf录目,将zoo_sample.cfg拷贝一份命名为zoo.cfg(Zookeeper 在启动时会找这个件文作为默许配置件文),开打该件文停止修为改以下式格(注意权限问题,如果最后配置有问题请检查进程中权限是不是准确)。
dataDir=/home/hadoop/temp/zookeeper/data server.0=10.10.10.213:2888:3888 server.1=10.10.10.214:2888:3888 server.2=10.10.10.215:2888:3888
4.2、新建录目、新建并编辑myid件文
(本次配置myid件文放在/home/hadoop/temp/zookeeper/data录目下)
mkdir /home/hadoop/temp/zookeeper/data //dataDir录目 vi /home/hadoop/temp/zookeeper/data/myid
注意myid件文中的内容为:Master中为0,Slave1中为1,Slave2中为2,别分与zoo.cfg中对应起来。
4.3、步同安装包
将解压修改后的zookeeper-3.4.3件文夹别分拷贝到Master、Slave1、Slave2的同相zookeeper安装径路下。注意:myid件文的内容不是一样的,各服务器中别分是对应zoo.cfg中的设置。
4.4、启动zookeeper
Zookeeper的启动与hadoop不一样,要需个每节点都执行,别分进入3个节点的zookeeper-3.4.3录目,启动zookeeper:
bin/zkServer.sh start
注意:此时如果报错先不会理,继承在另两台服务器中执行同相作操。
4.5、检查zookeeper是不是配置胜利
待3台服务器均启动后,如果进程准确的话zookeeper应当经已主动选好leader,进入每台服务器的zookeeper-3.4.3录目,执行以下作操查看zookeeper启动状态:
bin/zkServer.sh status
如果涌现以下码代表现安装胜利了。
[java] view plaincopy JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg Mode: follower //或者有且只有一个leader
5、HBase群集安装配置
5.1、修改hbase配置件文
在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的3个件文:
(1)hbase-env.sh
export JAVA_HOME=/usr/lib/java/jdk1.6.0_25 //JDK的安装录目 export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf //hadoop的安装录目 export HBASE_MANAGES_ZK=true
(2)hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://Master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>Master</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/temp/zookeeper</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> </configuration>
(3)regionservers
Slave1 Slave2
5.2、步同安装包
将解压修改后的hbase-0.94.1-security件文夹别分拷贝到Master、Slave1、Slave2的同相hbase安装径路下。
5.3、启动HBase
进入Master的hbase-0.94.1-security录目,执行以下作操:
bin/start-hbase.sh //之后用jps查看是不是全部进程都已启动
至此,hbase服务配置进程结束。可通过浏览器地址http://10.10.10.213:60010 查看hbase是不是可用。
也可以执行以下令命,进入hbase shell停止验证。
6、结语
关于hadoop、zookeeper、hbase的启动与闭关序顺:启动时hadoop和zookeeper意随前后,但是hbase必须最后启动,闭关时hbase必须首先闭关,然后意随前后闭关hadoop、zookeeper。否则,会涌现异常。
关于各软件的安装包可以去官网下载,不同版本的安装配置可能会有少量的变化,而且版本搭配如果不一样的话也可能涌现问题,有问题就针对性地去查,这样学习才有步进。
文章结束给大家分享下程序员的一些笑话语录: 打赌
飞机上,一位工程师和一位程序员坐在一起。程序员问工程师是否乐意和他一起玩一种有趣的游戏。工程师想睡觉,于是他很有礼貌地拒绝了,转身要睡觉。程序员坚持要玩并解释说这是一个非常有趣的游戏:"我问你一个问题,如果你不知道答案,我付你5美元。然后你问我一个问题,如果我答不上来,我付你5美元。"然而,工程师又很有礼貌地拒绝了,又要去睡觉。 程序员这时有些着急了,他说:"好吧,如果你不知道答案,你付5美元;如果我不知道答案,我付50美元。"果然,这的确起了作用,工程师答应了。程序员就问:"从地球到月球有多远?"工程师一句话也没有说,给了程序员5美元。 现在轮到工程师了,他问程序员:"什么上山时有三条腿,下山却有四条腿?"程序员很吃惊地看着工程师,拿出他的便携式电脑,查找里面的资料,过了半个小时,他叫醒工程师并给了工程师50美元。工程师很礼貌地接过钱又要去睡觉。程序员有些恼怒,问:"那么答案是什么呢?"工程师什么也没有说,掏出钱包,拿出5美元给程序员,转身就去睡觉了。