hadoop集群搭建

一、集群目录文件分发

1. scp（secure copy）安全拷贝

 1）scp定义：
  scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法
  scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
  命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
  （a）在hadoop102上，将hadoop102中/opt/module目录下的软件拷贝到hadoop103上
        scp -r /opt/module  atguigu@hadoop103:/opt/module
  （b）在hadoop104上，将hadoop102服务器上的/opt/module目录下的软件拷贝到hadoop104上。
        scp -r atguigu@hadoop102:/opt/module /opt/module
  （c）在hadoop103上操作将hadoop102中/opt/software目录下的软件拷贝到hadoop104上。
        scp -r atguigu@hadoop102:/opt/software atguigu@hadoop104:/opt/software

2. rsync 远程同步工具 （只能分发自己机器上的）

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
rsync    -av       $pdir/$fname              $user@hadoop$host:$pdir/$fname
  命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
  -a 归档拷贝   -v 显示复制过程
  a）把hadoop102机器上的/opt/software目录同步到hadoop103服务器的/opt/software目录下
  rsync -av /opt/software/ atguigu@hadoop103:/opt/software

3.xsync集群分发脚本

 1.循环复制文件到所有节点的相同目录下:
 2.基于rsync技术将文件从一个节点同步到其他所有节点    xsync  要同步的文件名称 
 3.脚本实现(一般会把脚本放到用户的家目录下的bin目录下，因为这个路径下会直接放到环境变量中）
  在/home/atguigu目录下创建bin目录，并在bin目录下创建xsync文件
  说明：在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何
  地方直接执行。因为/home/atguigu/bin在系统的PATH环境变量中。

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

（b）修改脚本 xsync 具有执行权限
  chmod +x xsync
 c）测试脚本
  xsync /home/atguigu/xsync

二、hadoop集群配置

1.配置集群信息（修改hadoop的自定义配置文件）

1.配置：hadoop-env.sh （路径：$HADOOP_HOME/etc/hadoop ） 可以不修改 hadoop 3.x 之后不影响

        export JAVA_HOME=/opt/module/jdk1.8.0_212      （不知道jdk的路径的话  echo $JAVA_HOME）

2.配置core-site.xml (核心配置文件)（路径：$HADOOP_HOME/etc/hadoop ）

      cd $HADOOP_HOME/etc/hadoop
      vim core-site.xml

文件内容如下：

    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录  
      
      官方配置文件中的配置项是hadoop.tmp.dir ,用来指定hadoop数据的存储目录,此次配置用的hadoop.data.dir是自己定义的变量， 因为在hdfs-site.xml中会使用此配置的值来具体指定namenode 和 datanode存储数据的目录

-->
    <property>
        <name>hadoop.data.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>



<!-- 下面是兼容性配置，先跳过 -->
<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户所属组 -->
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户-->
    <property>
        <name>hadoop.proxyuser.atguigu.users</name>
        <value>*</value>
    </property>

3.配置hdfs-site.xml HDFS配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim hdfs-site.xml

文件内容如下：

<!-- 指定副本数  -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
	
<!-- 指定NameNode数据的存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.data.dir}/name</value>
  </property>
 <!-- 指定Datanode数据的存储目录 -->

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.data.dir}/data</value>
  </property>
    
   <!-- 指定SecondaryNameNode数据的存储目录 -->

    <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file://${hadoop.data.dir}/namesecondary</value>
  </property>
   
   <!-- 兼容配置，先跳过 -->
    <property>
    <name>dfs.client.datanode-restart.timeout</name>
    <value>30s</value>
  </property>

  <!-- nn web端访问地址-->
<property>
  <name>dfs.namenode.http-address</name>
  <value>hadoop102:9870</value>
</property>
  <!-- 2nn web端访问地址-->

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
</property>

4.配置yarn-site.xml YARN配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim yarn-site.xml

 文件内容如下：

<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
 <!-- 指定ResourceManager的地址-->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
</property>
<!-- 环境变量的继承 -->
<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!--  取消虚拟内存的限制 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

5.配置mapred-site.xml MapReduce配置文件

      cd $HADOOP_HOME/etc/hadoop
      vim mapred-site.xml

 文件内容如下：

<!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

2.在集群上分发配置好的hadoop

xsync /opt/module/hadoop-3.1.3

3.集群单点启动

1）如果集群是第一次启动，需要格式化NameNode
hdfs namenode -format
2）在hadoop102上启动NameNode
 hdfs --daemon start namenode
3）完成后执行jps命令，看到如下结果（进程号可能不同）
   2867 NameNode
4）在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行  xshell 工具的群发功能）启动datanode
   hdfs --daemon start datanode
5）	在hadoop104上启动secondarynamenode
  hdfs --daemon start secondarynamenode
6）在hadoop103上启动ResourceManager
  yarn --daemon start resourcemanager
7）在hadoop102、hadoop103以及hadoop104上执行如下命令（三台都要执行）启动nodemanager
  yarn --daemon start nodemanager
8）在hadoop102上开启历史服务器
   mapred --daemon start historyserver

4.集群单点关闭

YRAN  和 HDFS无先后顺序
1）在hadoop102、hadoop103以及hadoop104上关闭DataNode(Xshell群发功能)
 hdfs --daemon stop datanode
2）在hadoop102上关闭NameNode 
  hdfs --daemon stop namenode
3）	在hadoop104上关闭SecondaryNameNode
  hdfs --daemon stop secondarynamenode
4)在hadoop102、hadoop103以及hadoop104上关闭NodeManager(Xshell群发功能)
  yarn --daemon stop nodemanager
5)在hadoop103上关闭ResourceManager
   yarn --daemon stop resourcemanager
6）在hadoop102上关闭历史服务器
   mapred --daemon stop historyserver

5.配置免密

（1）分别在hadoop102 hadoop103 hadoop104三台机器上生成公钥和私钥：
    ssh-keygen -t rsa
   然后敲（三个回车），就会在 ~/.ssh目录下生成两个文件
     id_rsa（私钥）、id_rsa.pub（公钥）

（2）分别在hadoop102 hadoop103 hadoop104执行,将公钥拷贝到要免密登录的目标机器上  自身机器也要配置
  ssh-copy-id hadoop102
  ssh-copy-id hadoop103
  ssh-copy-id hadoop104