hadoop学习笔记（五）hadoop伪分布式集群的搭建

本文原创，如需转载，请注明作者和原文链接

1、集群搭建的前期准备   见      搭建分布式hadoop环境的前期准备---需要检查的几个点

2、解压tar.gz包

[root@node01 ~]# cd software/
[root@node01 software]# ll
总用量 179292
-rw-r--r-- 1 root root 183594876 2月  26 2019 hadoop-2.6.5.tar.gz
[root@node01 software]# tar xf hadoop-2.6.5.tar.gz  -C /opt/sxt/
[root@node01 software]# cd /opt/sxt/
[root@node01 sxt]# ll
总用量 0
drwxr-xr-x 9 root root 149 5月  24 2017 hadoop-2.6.5

3、HADOOP_HOME环境变量的配置

[root@node01 hadoop-2.6.5]# vi + /etc/profile

结果如图

配置完毕之后，要重新的去读取一下这个文件

[root@node01 hadoop-2.6.5]# source /etc/profile

 4、java环境变量配置文件的配置

转到目录，注意点：hadoop启动 的时候只会去加载这个目录下的配置文件，如果这个目录下有其他的文件夹的话，没有影响

JAVA_HOME的环境变量的二次设置（原因：因为你启动集群的时候的话，你如果不在这个hadoop的文件下设置某些项的话，他会去找你默认本地的java的配置路径，他会找Local ，但是由于是集群启动，根本没有Local这一说，所以你要在一些配置文件中去配置java的路径，让之启动的时候能够找到，如果你不二次配置的话，可能会出现 java command not found）

 　　　　配置1:    hadoop-env.sh      如果你是只是安装HDFS的话，只改这个配置文件就可以了，但是如果之后会用到mapreduce、yarn等，也需要第二三步的配置

　　　　

[root@node01 hadoop]# vi hadoop-env.sh

 　　　　配置2：  mapred-env.sh

[root@node01 hadoop]# vi mapred-env.sh

 　　　　配置3： yarn-env.sh

[root@node01 hadoop]# vi yarn-env.sh

结果

 5　　　hadoop的结点及副本配置文件配置

参考hadoop官网即可

Pseudo-Distributed Operation
Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.

Configuration
Use the following:

etc/hadoop/core-site.xml:

-------------------------------------------------------------------------

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

　　配置1：core.env.xml

[root@node01 hadoop]# vi core-site.xml 

 　配置2：

[root@node01 hadoop]# vi hdfs-site.xml 

 6、第五步配置的是NameNode的配置，这里需要去配置DataNode和SecondaryNameNode了

　　　　配置DataNode：slaves

[root@node01 hadoop]# vi slaves 

　　　　配置第二主节点：默认是配置在  hdfs-site.xml  中的    ,第二个dfs.namenode.secondary.http-adress中的值：是第二主节点在的ip和以及端口号

 7、更改主结点，从结点的数据的存储位置。因为不更改的话默认是一个临时的文件夹，这样的话，系统可能不会经过你的允许就会删除这个文件！！

[root@node01 hadoop]# vi core-site.xml 

 从此所有的配置完成，但是仍需要格式化namenode，生成fsimage文件

8、生成fsimage文件

　　格式化之前：

 格式化命令

[root@node01 hadoop]# hdfs namenode -format  #就是为了生成一个fsimage文件

格式化完成

 出现

19/09/20 11:23:28 INFO common.Storage: Storage directory /var/sxt/hadoop/pseudo/dfs/name has been successfully formatted.

代表格式化成功

 格式化之后，会生成一个目录和一些文件name .内容包括唯一ID、镜像文件等，(特别需要注意的是这个文件所在的位置自己在core-site.xml配置的属性hadoop.tmp.dir的值中设置的),而且在格式化主结点完毕之后。只会生成主结点的数据文件name，，对于从结点和第二主结点的数据文件(data、secondaryNameNode)是当集群启动的时候才会产生的

如下图：

 　　其中包含：fsimage镜像文件，如sfiamge_00000000000

　　　　　　　　clusterID:集群的唯一标识的ID  这个ID是供集群使用的，集群中的每一个结点都有这样的一个集群ID，而且是一样的，如果不一样的话，就不代表是隶属于一个集群了，特别的需要注意的是：对于集群之前的namenode格式化,只能进行一次，因为进行多次的话，会导致每次都会产生一个新的clusterID，只是主结点的clusterID变了而其他的结点的并没有变，这样的话会导致整个集群启动的时候，一部分启动不起来，只要是集群ID不一样的，就不会启动，这就是多次格式化产生的问题！！！！

 注意   ：格式化的时候只会产生一个主结点的数据文件夹,name，具体的DataNode和第二主结点的文件夹是在启动集群的时候才会产生的！！！！

 到此为止，所有的配置完成，可以启动集群了

启动集群

[root@node01 hadoop-2.6.5]# start-dfs.sh

遇见的问题

hadoop伪分布式集群启动出现错误[root@node01 hadoop-2.6.5]# start-dfs.sh
 Starting namenodes on [node01] The authenticity of host 'node01 (::1)' can't be established.
 ECDSA key fingerprint is SHA256:hCsbjhUULX1rayvyVwh4EVZzIh49utgmghXRynCvVDE. ECDSA key fing

自己不知道是什么问题，jps进程查询也只有DataNode和SecondaryNameNode两个，没有主结点进程，之后从新的启动了一些集群，就有nameNode进程了，

如果有大佬知道的话，还请下方评论，告诉小白我哦，谢谢啦。

下面是第二次启动的时候并没有关闭第一次启动的集群出现的问题：让我们先关闭DataNode和secondaryNamenode两个结点

 启动完毕之后，再次转到hadoop.tmp.dir的值指向的那个目录，就会多data和secondaryNameNode两个文件夹了，这分别是针对从结点和第二主节点的文件夹，具体看下图效果

特别需要注意的是：所有的结点的clusterID的值都应该是一样的，因为隶属于同一个集群。因为所有的结点都属于同一个集群，所以才会在集群启动的时候每个结点以不同的进程进行显示

•  具体的从结点中有无数据可以从下面的目录中来看

[root@node01 dfs]# cd data/   #这里的data代表的是从结点
[root@node01 data]# ll
总用量 0
drwxr-xr-x 3 root root 65 9月  20 14:23 current
[root@node01 data]# cd current/
[root@node01 current]# ll
总用量 4
drwx------ 4 root root  72 9月  20 14:23 BP-782039128-127.0.0.1-1568949808230
-rw-r--r-- 1 root root 229 9月  20 14:23 VERSION
[root@node01 current]# cd B*
[root@node01 BP-782039128-127.0.0.1-1568949808230]# ll
总用量 0
drwxr-xr-x 4 root root 64 9月  20 14:25 current
-rw-r--r-- 1 root root  0 9月  20 14:23 dncp_block_verification.log.curr
drwxr-xr-x 2 root root  6 9月  20 14:23 tmp
[root@node01 BP-782039128-127.0.0.1-1568949808230]# cd current/
[root@node01 current]# ll
总用量 8
-rw-r--r-- 1 root root  18 9月  20 14:25 dfsUsed
drwxr-xr-x 2 root root   6 9月  20 14:23 finalized
drwxr-xr-x 2 root root   6 9月  20 14:23 rbw
-rw-r--r-- 1 root root 128 9月  20 14:23 VERSION
[root@node01 current]# cd finalized/
[root@node01 finalized]# ll
总用量 0
[root@node01 finalized]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP-782039128-127.0.0.1-1568949808230/current/finalized

• 　一般的集群还会提供一个可视化的管理界面：浏览器访问我们的集群中的HDFS系统的话，默认的浏览器访问集群的端口是50070，而不是9000,9000是结点之间通信的端口

通过浏览器访问自己的集群：http://结点的ip地址或者别名:50070/    如：http://192.168.27.102:50070/

结果界面

 下面来查看自己的集群中的内容：但是还没向集群中上传文件，如果想要上传文件的话，需要先在nameNode的位置创建一个存放数据文件块的路径

未创建之前，从浏览器中存储的内容为空

创建的过程

[root@node01 sbin]# hdfs dfs -mkdir -p /user/root



如果不清楚hdfs的命令的话：可以用命令查询

见下面

 

之后的结果

 最后就可以向自己搭建起来的集群中上传数据文件了

上传命令语法

#上传文件

[root@node01 software]# ll
总用量 179292
-rw-r--r-- 1 root root 183594876 2月 26 2019 hadoop-2.6.5.tar.gz
[root@node01 software]# hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

成功

 注意点：具体上传的这个文件不是整个的存储的，而是以块的形式存储的，这次上传文件总的大小是175M，所以会分成两块，一个默认的是128M，另一个是175-128M

块0

 块1

 控制台查看，块的存储形式

drwxr-xr-x 3 root root 17 9月  20 11:23 pseudo
[root@node01 hadoop]# cd pseudo/
[root@node01 pseudo]# ll
总用量 0
drwxr-xr-x 5 root root 51 9月  20 14:04 dfs
[root@node01 pseudo]# cd dfs/
[root@node01 dfs]# ll
总用量 0
drwx------ 3 root root 40 9月  20 15:26 data
drwxr-xr-x 3 root root 40 9月  20 15:26 name
drwxr-xr-x 3 root root 40 9月  20 15:27 namesecondary
[root@node01 dfs]# cd data/
[root@node01 data]# ll
总用量 4
drwxr-xr-x 3 root root 65 9月  20 14:23 current
-rw-r--r-- 1 root root 12 9月  20 15:26 in_use.lock
[root@node01 data]# cd current/
[root@node01 current]# ll
总用量 4
drwx------ 4 root root 112 9月  20 16:00 BP-782039128-127.0.0.1-1568949808230
-rw-r--r-- 1 root root 229 9月  20 15:26 VERSION
[root@node01 current]# cd B*
[root@node01 BP-782039128-127.0.0.1-1568949808230]# ll
总用量 4
drwxr-xr-x 4 root root  64 9月  20 14:25 current
-rw-r--r-- 1 root root   0 9月  20 16:00 dncp_block_verification.log.curr
-rw-r--r-- 1 root root 164 9月  20 16:00 dncp_block_verification.log.prev
drwxr-xr-x 2 root root   6 9月  20 15:26 tmp
[root@node01 BP-782039128-127.0.0.1-1568949808230]# cd current/
[root@node01 current]# ll
总用量 8
-rw-r--r-- 1 root root  18 9月  20 14:25 dfsUsed
drwxr-xr-x 3 root root  21 9月  20 15:57 finalized
drwxr-xr-x 2 root root   6 9月  20 15:57 rbw
-rw-r--r-- 1 root root 128 9月  20 15:26 VERSION
[root@node01 current]# cd finalized/
[root@node01 finalized]# ll
总用量 0
drwxr-xr-x 3 root root 21 9月  20 15:57 subdir0
[root@node01 finalized]# cd subdir0/
[root@node01 subdir0]# ll
总用量 0
drwxr-xr-x 2 root root 114 9月  20 15:57 subdir0
[root@node01 subdir0]# cd subdir0/
[root@node01 subdir0]# ll
总用量 180700
-rw-r--r-- 1 root root 134217728 9月  20 15:57 blk_1073741825           
-rw-r--r-- 1 root root   1048583 9月  20 15:57 blk_1073741825_1001.meta
-rw-r--r-- 1 root root  49377148 9月  20 15:57 blk_1073741826
-rw-r--r-- 1 root root    385767 9月  20 15:57 blk_1073741826_1002.meta
[root@node01 subdir0]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP-782039128-127.0.0.1-1568949808230/current/finalized/subdir0/subdir0
[root@node01 subdir0]# pwd
/var/sxt/hadoop/pseudo/dfs/data/current/BP-782039128-127.0.0.1-1568949808230/current/finalized/subdir0/subdir0

 其中的   blk_1073741825  块就是我们的block0     blk_1073741826 是block1，  blk_1073741825_1001.meta和 blk_1073741826_1002.meta  是两个块的元数据信息，用于验证块的完整性用的

至此，整个伪分布式集群的搭建完成！！！