centos7 搭建hadoop

参考文档：http://blog.csdn.net/xiaoxiangzi222/article/details/52757168

https://waylau.com/centos-7-installation-and-configuration/

采用虚拟机搭建；

工具：centos7 ,jdk1.7 ,hadoop2.8;

1. 安装虚拟机，创建centos7后，注意下手动修改下网络设置；　　

1.1 这里主要是通过查看【虚拟机】--》【虚拟网络编辑器】--》查看虚拟机的【网关ip】-->设置虚拟网卡【VMware Network Adapter VMnet8】的协议4 --》设置centos7的有线连接（改成手动的自己给定的ip）--》宿主机ping下虚拟机中的ip,有返回的包表示网络通了

1.2 图解

　　　　OK了，可以进行下一步操作了；

　　2.关闭防火墙

　　　　centos7 默认加载的是 firewall 

　　　　2.1 查看防火墙

　　　　　　firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

　　　　2.2 关闭防火墙

　　　　　　systemctl stop firewalld.service #停止firewall
　　　　　　systemctl disable firewalld.service #禁止firewall开机启动

　　3. 开启ssh服务；

　　　　3.1 ssh 是否安装 ： rpm -qa | grep ssh

　　　　3.2  查看ssh 是否开启：　ps -e | grep ssh 

　　　　3.3 重启ssh :service sshd restart

 　　　  3.4 设置ssh开机自启：chkconfig sshd on

　　　   3.5 本地连接 服务器，将jdk等需要用的软件上传到Linux上，这里本地选用什么软件上传ssh,自选；

   　 4.卸载centos7自带的jdk,重新安装jdk ;

  4.1 查看安装的jdk： rpm -qa|grep jdk

  4.2 然后卸载 : yum -y remove java-1.*

　　 卸载方法2 : rpm -e --nodeps  jdk相关 

#rpm -e  --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.i686

#rpm -qa |grep java

#rpm -qa |grep jdk

#rpm -qa |grep gcj

  4.3.安装并配置jdk;

   在/etc/profile文件中加入: 
　　# vi /etc/profile 　　 

export JAVA_HOME=/usr/java/jdk1.7.0_76

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

5.修改虚拟机的hostname和设置DNS解析；

　　5.1 查看 hostname ： hostname    

　　5.2 修改 ： [root@localhost ~]# hostnamectl set-hostname master

　　　　  　　   [root@localhost ~]# hostnamectl set-hostname node1

　　　　　　     [root@localhost ~]# hostnamectl set-hostname node2

　　因为 hadoop 集群之间通过主机名互相访问，所以必须设置 dns 解析

　　5.3 修改hosts指令：在文本最后追加一行

 　　gedit /etc/hosts

　　192.168.49.100    master
　　192.168.49.101    node1
　　192.168.49.102    node2

　5.4 检验各个主机之间能否连通  
　　ping mater
　　ping node1
　　ping node2

6.配置SSH，实现节点间的无密码登录

 

6.1 ssh localhost 

出现以下界面说明安装成功；

　　

　　6.2 生成密钥Pair

　　　　ssh-keygen -t rsa

输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下。可用cd 命令进入查看。

注意该文件夹是以“.”开头的，是隐藏文件

 

 6.3 在master上，导入authorized_keys

　　　　[root@master .ssh]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　6.4 远程无密码登录(把master上的authorized_keys拷贝到其他主机的相应目录下)

#进入master的.ssh目录,执行复制操作

scp authorized_keys root@node1:~/.ssh/

scp authorized_keys root@node2:~/.ssh/

如果不是root用户的话，修改各台主机上authorized_keys文件的权限：
所有机器上，均执行命令：

chmod 600 .ssh/authorized_keys

完成之后，在master上执行下面操作，检查免密码登录是否成功。

 未完，等下更新