Hadoop集群Linux基本环境搭建

安装虚拟机

VMWare下载

微信公众号“软件安装管家”里下载安装，并附有破解教程

虚拟机镜像下载

Ubuntu和CentOS均可，Ubuntu最好16.04及以上，CentOS最好7及以上

CentOS7下载链接 Ubuntu16.04下载链接

虚拟机克隆

安装完成一个虚拟机后，可以选择直接克隆，生成集群。

ps：如果不是克隆，而是直接复制的虚拟机文件，新的虚拟机不会自动分配IP和MAC地址，需要自己手动更改。如果是克隆则不需要担心这个问题，克隆之后，DHCP服务器会为新的虚拟机自动分配IP和MAC地址。

虚拟机配置

更改主机名称

• hostname 主机名称

  这种方式只是暂时更改主机名称，重启会失效

• 更改 /etc/hostname文件

  使用命令,进入更改主机名称，这种方式是永久的，但需要重启虚拟机

  vim /etc/hostname
  

域名映射

使用命令，添加虚拟机域名映射

vim /etc/hosts

SSH免密登录

• 创建密钥对（公钥和私钥）

  ssh-keygen -t rsa
  

• 拷贝公钥到同一台机器,这里以第一台机器为例，集群中所有机器都要执行此命令

  ssh-copy-id node-1
  

• 复制第一台机器上的认证到其他机器上

  scp /root/.ssh/authorized_keys node-2:/root/.ssh/
  

  这样集群中任意两台机器之间就获得了认证，完成了免密登录。

时钟同步

• 安装插件

  yum install -y ntp
  

• 创建定时任务

  crontab -e   #进入定时任务编辑
  */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com
  

• 说明

  为了防止集群中的节点时间不一致所可能导致的数据不一致的情况，采用通过网络的方式，使得所有的节点都与时钟服务器时间保持一致