linux配置hadoop集群

①安装虚拟机

②为虚拟机添加共享文件

右击已经安装好的虚拟机

设置—>选项—>共享文件

③配置映射

 sudo nano /etc/network/interfaces

 

重启网络：sudo /etc/init.d/networking restart(如果网络重启失败则重启虚拟机：sudo reboot)

sudo nano /etc/hostname

s100

sudo nano /etc/hosts

192.168.154.100 s100

 

在windows下c:/windows/system32/driver/etc/host

 

本地连接虚拟机：ping s100

④搭建集群

创建一个文件夹放置集群：

sudo mkdir -p /home/neworigin/data

修改data文件夹的权限：

配置java环境：

将本地的jdk压缩包拷贝到虚拟机：cp /mnt/hgfs/本地路径  /data/

解压：tar -xzvf  jdk.tar.gz

配置jdk路径：sudo nano /etc/environment

JAVA_HOME=/data/jdk

PATH=":/data/jdk/bin"

使环境变量生效：soirce  /etc/environment

查看版本：java -version

配置hadoop;

拷贝本地的安装包：cp /mnt/hgfs/本地路径  /data

解压：tar -xzvf hadoop-2.7.0.tar.gz

配置路径：sudo nano /etc/environment

HADOOP_HOME=/data/hadoop-2.7.0.tar.gz

PATH=":/data/hadoop-2.7.0/bin:/data/hadoop-2.7.0/sbin"

查看hadoop中的文件：ls -l /data/hadoop-2.7.0/etc/hadoop

修改配置文件：core-site.xml

　　　　　　　　hdfs-site.xml

　　　　　　　　mapred-site.xml

　　　　　　　　yarn-site.xml