配置Master的hadoop,打包后scp给vmslave1,vmslave2,vmslave3
启动Master的hadoop即可启动hadoop集群。
由于node用于elastic head master,只配主机。
hadoop的路径:/opt/bigdata/hadoop/hadoop260
<<<
压缩:tar -zcf linux-hadoop260.tar.gz hadoop/
scp:scp linux-hadoop260.tar.gz root@vmslave1:/opt/bigdata
解压:tar -zxf linux-hadoop260.tar.gz
>>>
################ 修改目录权限 ####################
[root@vwmaster hadoop]# chown -R root:root hadoop260/
################ JDK ####################
[root@vwmaster hadoop260]# vi etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/bigdata/java/jdk180
################ hadoop fs 文件系统 ####################
#---- 集群配置时将 IP 改为 主机名 ----#
[root@vwmaster hadoop260]# vi etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://主机名称:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/bigdata/hadoop/hadoop260</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> </configuration>
################ hadoop replicas 备份 ####################
#---- dfs.replication 备份数量改为2 ----#
[root@vwmaster hadoop260]# vi etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
################ hadoop mapreduce 计算框架 ####################
[root@vwmaster hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml [root@vwmaster hadoop260]# vi etc/hadoop/mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
################ hadoop yarn 管理调度 ####################
[root@vwmaster hadoop260]# vi etc/hadoop/yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>主机名字</value> </property> </configuration>
################ hadoop slaves 名 ####################
只配所有的slave,不加master
[root@vwmaster hadoop260]# vi etc/hadoop/slaves vmslave1 vmslave2 vmslave3
################ hadoop 环境变量 ####################
[root@vwmaster hadoop260]# vi /etc/profile export JAVA_HOME=/opt/bigdata/java/jdk180 export TOMCAT_HOME=/opt/bigdata/java/tomcat85 export NODE_HOME=/opt/bigdata/elk/node891 export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar [root@vwmaster hadoop260]# source /etc/profile
################ hadoop 格式化 HDFS ####################
只有master需要格式化!
假如slave不慎格式化,需要删除hadoop260下面的 dfs/ 和 logs/ 两个文件夹!
[root@vwmaster hadoop260]# cd bin [root@vwmaster bin]# hdfs namenode -format ##见到以下信息说明格式化成功 /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at vwmaster/20.0.0.100 ************************************************************/ ##如果格式化失败:需要去检查之前各项配置
################ hadoop-native库 ####################
[root@vwmaster bin]# cd /opt/install/hadoop [root@vwmaster hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/
################ 启动 hadoop ####################
[root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/bin [root@vwmaster bin]# start-dfs.sh [root@vwmaster bin]# start-yarn.sh [root@vwmaster bin]# stop-all.sh
################ 启动 jobhistory ####################
[root@vwmaster bin]# cd ../sbin/ [root@vwmaster sbin]# jps [root@vwmaster sbin]# ./mr-jobhistory-daemon.sh start historyserver
################ 查看 hadoop 服务状态 ####################
[root@vwmaster sbin]# jps 6800 NodeManager 7329 Jps 6387 DataNode 6548 SecondaryNameNode 6264 NameNode 6697 ResourceManager 7259 JobHistoryServer http://[IP]: 50070 8088 19888
对从机来说,主机起了之后,jps可看到
6810 DataNode 6911 NodeManager