Hadoop环境安装（三）基于伪分布式系统的Hadoop配置

Hadoop是基于分布式的系统应用，但很多时候我们只是进行简单的测试，没有必要做集群。所谓的伪分布式本质上就是进行单机版的Hadoop配置。

1.在Hadoop中不允许IP地址变更，所以要保证从项目的开发到运行结束状态，都要求IP地址是同一个，如果变更了就要重头来过

（编辑-虚拟网络编辑器）

2.为了保证配置的方便，那么一定要为每台电脑设置主机名称

#vim /etc/hostname

将里面的localhost修改为hadoopm

3.修改主机的映射配置

在里面追加IP地址与hadoopm主机名称的映射

#ifconfig

#vim /etc/hosts

 

4.为了使配置生效，我们重启系统，输入reboot

5.在电脑上配置ssh免登陆处理

在整个Hadoop的处理过程中，都是使用ssh实现通讯（就算在本机也一样）

• 由于电脑上可能已经出现过SSH的相关配置，所以建议删除在根路径下的“.ssh”文件夹

  

  如图所示，并未存在已有配置，故不需要删除。

  如果存在ssh配置，则

  #rm -rf ~/.ssh

• 在hadoop主机上生成ssh 

  # ssh-keygen -t rsa

  接下来所有出现的配置信息都使用默认的方式进行处理

  

• 将公钥信息保存在授权认证的文件之中,“authorized_keys” 文件里面

  root@hadoopm:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

   那么以后就可以进行免登陆处理

  

• 测试登录

  #ssh root@hadoopm

  

  登录之后变成了远程连接，那么此时可以使用exit退出当前连接

6.实现Hadoop的相关配置，需要配置如下几个配置（/home/shawnee/local/hadoop/etc/hadoop）

• 配置“core-site.xml”，确定Hadoop的核心信息，包括临时目录、访问地址
• 配置“yarn-site.xml”，可以理解为配置相关job的处理
• 配置“hdfs-site.xml”，可以确定文件的备份个数以及数据文件夹的路径

7.配置“core-site.xml”文件

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/root/hadoop_tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoopm:9000</value>
        </property>
</configuration>　

本文件配置的“hdfs://hadoopm:9000”信息，描述的是日后打开的页面管理器的路径
本配置中最重要的：“/home/root/hadoop_tmp”配置的是临时文件信息，如果不配置，就会在hadoop的文件夹里生成“tmp”文件（“/home/shawnee/local/hadoop/tmp/”）
如果这样配置，一旦重新启动，所有信息都会被清空，也就是说此时Hadoop的环境就失效了
由于本次用的Hadoop2.x开发版本，一般而言默认端口是9000，如果是1.x开发版本，默认为8020

为了保证整体的运行不出错，可以直接建立一个“/home/root/hadoop_tmp”

#cd ~
#mkdir hadoop_tmp

　　

8.修改“hdfs-site.xml”文件

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///usr/local/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///usr/local/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoopm:50070</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoopm:50090</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

在以上的配置中有如下的意义：

“dfs.replication”表示文件的副本数，一般情况下，一个文件会备份3份

“dfs.namenode.name.dir”定义名称结点路径

“dfs.datanode.data.dir”定义数据文件结点路径

“dfs.namenode.http-address”名称服务的http路径访问

“dfs.namenode.secondary.http-address”第二名称结点

“dfs.permissions”权限认证问题，如果设置了，以后可能无法进行文件处理访问

9.配置“yarn-site.xml”文件

<configuration>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>hadoopm:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>hadoopm:8025</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoopm:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoopm:8050</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoopm:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>hadoopm:8088</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>hadoopm:8090</value>
        </property>
</configuration>

　　

10.创建一个masters文件，里面写上主机名称

由于Hadoop属于分布式开发环境，考虑到日后要进行集群的搭建

建议在“/home/shawnee/local/hadoop/etc/hadoop/”目录中创建一个masters文件，里面写上主机名称，内容就是hadoopm（之前在hosts文件里面定义的主机名称）（如果是单机环境不写也可以，这里会写上）

root@hadoopm:/home/shawnee/local/hadoop/etc/hadoop# vim masters

11.修改从节点文件"slaves"，增加hadoopm

root@hadoopm:/home/shawnee/local/hadoop/etc/hadoop# vim slaves

12.由于此时是将所有的namenode、datanode保存路径设置在hadoop目录中，如果为了保险起见，可以自己创建

root@hadoopm:/home/shawnee/local/hadoop# mkdir dfs dfs/name dfs/data

如果hadoop出现了问题之后并需要重新配置，请把这两个文件夹彻底清除

13.格式化文件系统

此处由于开始环境变量配置错误，所以添加了路径bin/，正常的命令为：#hdfs namenode -format

 root@hadoopm:/home/shawnee/local/hadoop# bin/hdfs namenode -format

如果此时格式化正常，状态码返回0

建议：只需要一次格式化，多次格式化会出错 
　　    如果出错需要删除 data/tmp 下的 dfs 目录

14.随后可以使用最简单的处理，启动Hadoop:

root@hadoopm:/home/shawnee/local/hadoop# start-all.sh

15.随后可以使用JDK提供的jps命令查看，所有的java进程,如果输入之后返回如下内容：

 

如果发现有这6个进程，那么表示配置成功

 16.随后可以进行测试，现在只能测试HDFS是否可以正常使用：

可以直接使用ip地址访问：http://192.168.203.129:50070

如果觉得ip地址比较麻烦，也可以使用hadoopm名称，那么需要修改hosts文件

路径： C:WindowsSystem32driversetc ，追加如下内容：

192.168.203.129 hadoopm

 访问控制台：（Utilities / Browse the file system）

 17.如果需要关闭服务，stop-all.sh命令即可

root@hadoopm:/home/shawnee/local/hadoop# stop-all.sh

参考博客：linux下jps command not found（可以了解报错命令找不到的基本处理方法）