Hadoop 安装流程

前言：因项目中需要数据分析，因而使用hadoop集群通过离线的方式分析数据

参考着网上的分享的文章实施整合的一篇文章，实施记录

---

安装流程：

1.设置各个机器建的ssh 无密码登陆

2.安装JDK

3.开始安装配置hadoop

4.检查单机版Hadoop

5.集群搭建

6.测试集群是否搭建成功

7.hadoop远程客户端安装配置

准备：分别上台机器：master(hadoop主机)、node1（hadoop从机）、node2（hadoop从机）

echo "192.168.163.220 master" >>/etc/hosts
echo "192.168.163.48 node1" >>/etc/hosts
echo "192.168.163.55 node2" >>/etc/hosts

 

1.设置各个机器建的ssh 无密码登陆

 

(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，
#RSAAuthentication yes
#PubkeyAuthentication yes
(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，
(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，
cat id_rsa.pub>> authorized_keys
ssh root@node1 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh root@cli cat ~/.ssh/id_rsa.pub>> authorized_keys
(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
(5)完成，ssh root@192.168.0.84、ssh root@192.168.0.48就不需要输入密码了

 

 

2.安装JDK

(1)安装包中已经下载好了 rpm 格式的jdk安装包

· 安装之前先检查一下系统有没有自带open-jdk

· 图片上显示我的是没有自带的，如果有可以使用rpm -qa | grep java | xargs rpm -e --nodeps 批量卸载所有带有Java的文件   这句命令的关键字是java  

(2)使用rpm -ivh jdk-8u45-linux-x64.rpm进行安装（每一台机器都需要安装配置）

(3)配置环境变量使用命令 vim /etc/profile

rpm -ivh jdk-8u45-linux-x64.rpm   配置 /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_45 export HADOOP_HOME=/hadoop/hadoop-2.7.2 export HIVE_HOME=/hadoop/apache-hive-2.1.0-bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HIVE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin

(4)验证使用安装以及环境变量设置成功使用命令

 

 

[root@localhost ~]# source /etc/profile

[root@localhost ~]# java -version

 

 

3.开始安装配置hadoop

(1)将hadoop-2.7.2.tar.gz 文件放在 /hadoop 目录下，解压文件执行命令

[root@localhost ~]# cd /hadoop

[root@master hadoop]# tar -vxzf hadoop-2.7.2.tar.gz

(2)修改配置文件

 a.修改/hadoop/hadoop-2.7.2/etc/hadoop/core-site.xml  全局配置

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

<!--hadoop namenode 服务器地址和端口，以域名形式-->

</property>

 

<property>

<name>dfs.namenode.checkpoint.period</name>

<value>1800</value>

<!-- editlog每隔30分钟触发一次合并，默认为60分钟 -->

</property>

 

<property>

  <name>fs.checkpoint.size</name>

  <value>67108864</value>

</property>

 

<property>

<name>fs.trash.interval</name>

<value>1440</value>

<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天，默认为0。-->

</property>

 

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop/tmp</value>

<!-- Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新>执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->

</property>

 

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

<!-- 流文件的缓冲区-->

</property>

 

 

 b.修改/hadoop/hadoop-2.7.2/etc/hadoop/hdfs-site.xml hdfs中NameNode,DataNode局部配置

<property>

<name>dfs.namenode.name.dir</name>

<value>/hadoop/hdfs/name</value>

<!--HDFS namenode数据镜象目录-->

<description>  </description>

</property>

 

<property>

<name>dfs.datanode.data.dir</name>

<value>/hadoop/hdfs/data</value>

<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->

<description> </description>

</property>

 

<property>

<name>dfs.namenode.http-address</name>

<value>master:50070</value>

<!---HDFS Web查看主机和端口-->

</property>

 

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node1:50090</value>

<!--辅控HDFS web查看主机和端口-->

</property>

 

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

 

<property>

<name>dfs.replication</name>

<value>3</value>

<!--HDFS数据保存份数，通常是3-->

</property>

 

<property>

<name>dfs.datanode.du.reserved</name>

<value>1073741824</value>

<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->

</property>

 

<property>

<name>dfs.block.size</name>

<value>134217728</value>

<!--HDFS数据块大小，当前设置为128M/Blocka-->

</property>

 

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

<!-- HDFS 关闭文件权限 -->

</property>

 

 

 c.修改 hadoop/hadoop-2.7.2/etc/hadoop/mapred-site.xml.template  #配置MapReduce，使用yarn框架、jobhistory使用地址以及web地址

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>master:50030</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

配置完毕以后执行命令

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

 

 d.修改 hadoop/hadoop-2.7.2/etc/hadoop/yarn-site.xml  配置yarn-site.xml文件

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

 

 e. 修改 hadoop/hadoop-2.7.2/etc/hadoop/ hadoop-env.sh及vi yarn-env.sh

将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替

export JAVA_HOME=/usr/java/jdk1.8.0_45

 f.创建目录上面所配置的路径

[root@master ~]# mkdir -p /hadoop/tmp

[root@master ~]# mkdir -p /hadoop/hdfs/name

[root@master ~]# mkdir -p /hadoop/hdfs/data

 

f. 修改$HADOOP_HOME/etc/hadoop/yarn.site.xml, 此项配置是为配置 hive

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

 

  

4.检查单机版Hadoop

测试hdfs中的namenode与datanode：
hadoop-daemon.sh start namenode 
chmod go-w /data/hadoop/hdfs/data/
hadoop-daemon.sh start datanode

测试resourcemanager：
yarn-daemon.sh start resourcemanager

测试nodemanager：
yarn-daemon.sh start nodemanager

测试historyserver：
mr-jobhistory-daemon.sh start historyserver

[root@master hadoop-2.7.2]# jps

6116 NodeManager

6901 NameNode

5704 ResourceManager

6204 JobHistoryServer

5518 DataNode

6974 Jps

 

[root@master hadoop-2.7.2]# hadoop fs -lsr /

 

5.集群搭建

scp -r $HADOOP_HOME/ node1:/hadoop/

在master 上配置

[root@master hadoop-2.7.2]# vim $HADOOP_HOME/etc/hadoop/slaves

删除localhost

添加    node1

6.测试集群是否搭建成功

在Master服务器启动hadoop，从节点会自动启动，进/hadoop/hadoop-2.7.2目录
(1)初始化，输入命令，bin/hdfs namenode -format
(2)全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话，输入命令，sbin/stop-all.sh
(4)输入命令，jps，可以看到相关信息

Web访问，要先开放端口或者直接关闭防火墙
(1)输入命令，systemctl stop firewalld.service
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/

 

各节点执行jps
master： 
98956 JobHistoryServer

98820 NodeManager

118806 Jps

118176 NameNode

118540 ResourceManager

node1： 
106602 Jps

106301 DataNode

106496 NodeManager

106408 SecondaryNameNode

 

7.hadoop远程客户端安装配置

 a.配置 /etc/profile 的环境变量配置java和hadoop （可参考第二点配置JDK）

 b.hadoop 配置文件修改

在客户端只需配置集群namenode 和 jobtracker 的相关信息,以及java安装目录。即修改conf目录下文件：

hadoop-env.sh：

export JAVA_HOME=/usr/java/jdk1.8.0_45

core-site.xml:

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

<!--hadoop namenode 服务器地址和端口，以域名形式-->

</property>

 mapred-site.xml:

<property>

<name>mapred.job.tracker</name>

<value>http://master:9001</value>

</property>

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

c.现在hadoop客户端已经配置好，可以运行基本的命令如：

hadoop fs -lsr /

---

这样就搭建了一个基本的集群了，接下来使用hive分析历史数据