配置好Hadoop、HDFS、YARN、Zookeeper集群后,需要按照顺序启动。
前期准备
-
配置好Hadoop、HDFS、YARN、Zookeeper集群
-
先stop掉所有的hadoop服务
使用
jps
命令查看进程,确保只有Jps
进程存在,没有其他的Hadoop服务进程。若存在Hadoop服务进程,使用命令kill -9 进程id
来关闭进程。
1. 启动zookeeper集群(分别在master、slave1、slave2上启动zk)
-
在
~/zookeeper-3.4.5/bin/
下执行./zkServer.sh start
-
验证:分别在节点上执行
./zkServer.sh status
可以查看节点状态,一个leader,两个follower。
2. 启动journalnode(分别在在master、slave1、slave2上执行)
-
使用命令
hadoop-daemon.sh start journalnode
-
验证:运行jps命令检验,master、slave1、slave2上多了JournalNode进程
3. 格式化HDFS(在master上执行即可)
-
执行命令
hdfs namenode -format
-
验证:格式化后会在根据
core-site.xml
中的hadoop.tmp.dir
配置生成个文件,这里我配置的是/home/hadoop/app/hadoop-2.4.1/data
,然后将/usr/local/hadoop-2.4.0/data
拷贝到slave1的/home/hadoop/app/hadoop-2.4.1/
下scp -r data/ slave1:/home/hadoop/app/hadoop-2.4.1
4. 格式化ZK(在master上执行即可)
hdfs zkfc -formatZK
5. 启动HDFS(在master上执行即可)
start-dfs.sh
注:namenode
进程如果启动失败,手动执行命令hadoop-daemon.sh start namenode
启动namenode
进程。
6. 启动YARN(在master上操作)
start-yarn.sh
至此,Hadoop2.4.1配置完毕,可以统计浏览器访问
http://192.168.1.201:50070
NameNode '192.168.1.201' (tandby)
http://192.168.1.202:50070
NameNode '192.168.1.202:9000' (actives)