Hadoop集群搭建之Linux主机环境
创建虚拟机包含1个主节点master,2个从节点slave1,slave2
-
虚拟机网络连接模式为
host-only
(非虚拟机环境可跳过) -
集群规划如下表:
主机名 | IP | 子网掩码 | 安装的软件
---|---|----|-----
master | 192.168.1.201 | 255.255.255.0 | jdk、hadoop、zookeeper
slave1| 192.168.1.202 | 255.255.255.0 | jdk、hadoop、zookeeper
slave2| 192.168.1.203 | 255.255.255.0 | jdk、hadoop、zookeeper -
让普通用户具备
sudo
权限
切换到root,之后 在/etc/sudoers
文件中加入一行
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
-
命令行界面运行级别为3,图形界面运行级别为5(关闭图形界面可以节省开销)
init 3 ##开启命令行界面,需要root权限
init 5 ##开启图形界面
startx ##在命令行界面开启图形界面
修改开机默认启动运行级别需要修改文件
vi /etc/inittab
###将 id:5:initdefault: 这一行中的5修改为需要的运行级别
-
配置虚拟网卡(非虚拟机环境可跳过)
点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.1.100 子网掩码:255.255.255.0 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
-
修改主机名
vim /etc/sysconfig/network
##修改为
NETWORKING=yes
HOSTNAME=master
注:配置文件生效必须使用sudo hostname master
(使用该命令后配置已经生效,但需要重新登录才能看见效果)或者重启服务器(reboot
)
-
修改IP
利用图形界面进行修改
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.201 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply
利用命令行修改配置文件
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.201" ###IP地址
NETMASK="255.255.255.0" ###子网掩码
GATEWAY="192.168.1.1" ###网关
带###
的为需要修改的项目,如果找不到ifcfg-eth0文件,请参考博客centos 中没有 ifcfg-eth0 配置文件的解决办法
注:配置文件生效必须重启network服务(sudo service network restart
)或者重启Linux服务器(reboot
)
-
修改主机名和ip的映射关系(方便以后直接通过主机名来访问,而不需要记忆IP地址)
sudo vim /etc/hosts
###直接追加
192.168.1.201 master
测试:通过ping master
结果查看是否修改成功;Windows系统通过修改C盘-->Windows-->System32-->drivers-->etc
目录下hosts
文件.
-
关闭防火墙
#查看防火墙状态
sudo service iptables status
#关闭防火墙
sudo service iptables stop
#查看防火墙开机启动状态
sudo chkconfig iptables --list
#关闭防火墙开机启动
sudo chkconfig iptables off
注:重启Linux系统生效
至此,master主机环境已经准备完毕。salve1和slave2环境准备同理。