• [大数据] hadoop伪分布式安装


    注意:节点主机的hostname不要带"_"等字符,否则会报错。

    一.安装jdk

    rpm -i jdk-7u80-linux-x64.rpm

    配置java环境变量:

    vi + /etc/profile
    
    export JAVA_HOME=/usr/java/jdk1.7.0_80
    PATH=$PATH:$JAVA_HOME/bin

    使用jps命令验证:

    [root@node001 jdk1.7.0_80]# jps
    2266 Jps

    二.设置免密登录

      $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
      $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
      $ chmod 0600 ~/.ssh/authorized_keys

    让本机能够免密登录本机(因为Namenode和Datanode都在一台机器上)。

    [root@pseudo_hadoop .ssh]# ssh pseudo_hadoop
    Last login: Fri Nov  8 15:45:28 2019 from pseudo_hadoop

    使用ssh登录本机别名,能够免密登录。

    三. 下载hadoop并解压

    wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
    tar xf hadoop-2.6.5.tar.gz -C /opt/

    四.添加HADOOP环境变量

    vi + /etc/profile
    
    export HADOOP_HOME=/opt/hadoop-2.6.5
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    . /etc/profile

    五.修改配置文件流程

    首先,为hadoop指定java目录:

    [root@pseudo_hadoop hadoop]# ll /opt/hadoop-2.6.5/etc/hadoop
    total 152
    -rw-r--r-- 1 root root  4436 Nov  9 14:23 capacity-scheduler.xml
    -rw-r--r-- 1 root root  1335 Nov  9 14:23 configuration.xsl
    -rw-r--r-- 1 root root   318 Nov  9 14:23 container-executor.cfg
    -rw-r--r-- 1 root root   774 Nov  9 14:23 core-site.xml
    -rw-r--r-- 1 root root  3670 Nov  9 14:23 hadoop-env.cmd
    -rw-r--r-- 1 root root  4224 Nov  9 14:23 hadoop-env.sh
    -rw-r--r-- 1 root root  2598 Nov  9 14:23 hadoop-metrics2.properties
    -rw-r--r-- 1 root root  2490 Nov  9 14:23 hadoop-metrics.properties
    -rw-r--r-- 1 root root  9683 Nov  9 14:23 hadoop-policy.xml
    -rw-r--r-- 1 root root   775 Nov  9 14:23 hdfs-site.xml
    -rw-r--r-- 1 root root  1449 Nov  9 14:23 httpfs-env.sh
    -rw-r--r-- 1 root root  1657 Nov  9 14:23 httpfs-log4j.properties
    -rw-r--r-- 1 root root    21 Nov  9 14:23 httpfs-signature.secret
    -rw-r--r-- 1 root root   620 Nov  9 14:23 httpfs-site.xml
    -rw-r--r-- 1 root root  3523 Nov  9 14:23 kms-acls.xml
    -rw-r--r-- 1 root root  1325 Nov  9 14:23 kms-env.sh
    -rw-r--r-- 1 root root  1631 Nov  9 14:23 kms-log4j.properties
    -rw-r--r-- 1 root root  5511 Nov  9 14:23 kms-site.xml
    -rw-r--r-- 1 root root 11291 Nov  9 14:23 log4j.properties
    -rw-r--r-- 1 root root   938 Nov  9 14:23 mapred-env.cmd
    -rw-r--r-- 1 root root  1383 Nov  9 14:23 mapred-env.sh
    -rw-r--r-- 1 root root  4113 Nov  9 14:23 mapred-queues.xml.template
    -rw-r--r-- 1 root root   758 Nov  9 14:23 mapred-site.xml.template
    -rw-r--r-- 1 root root    10 Nov  9 14:23 slaves
    -rw-r--r-- 1 root root  2316 Nov  9 14:23 ssl-client.xml.example
    -rw-r--r-- 1 root root  2268 Nov  9 14:23 ssl-server.xml.example
    -rw-r--r-- 1 root root  2237 Nov  9 14:23 yarn-env.cmd
    -rw-r--r-- 1 root root  4567 Nov  9 14:23 yarn-env.sh
    -rw-r--r-- 1 root root   690 Nov  9 14:23 yarn-site.xml

    修改三个配置文件的JAVA_HOME变量:

    vi hadoop-env.sh
    vi mapred-env.sh
    vi yarn-env.sh
    
    export JAVA_HOME=/usr/java/jdk1.7.0_80

    修改core-site.xml配置文件:

    该配置文件主要是配置NameNode。

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://pseudo_hadoop:9000</value>
        </property>
    </configuration>

    修改hdfs-site.xml配置文件:

    该文件主要配置DataNode。

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

    其中dfs.replication配置的是数据块副本数量,这里由于是伪分布式,所以配置为1。

    修改slaves文件:

    该文件配置DataNode的机器列表。

    vi slaves
    
    pseudo_hadoop

    除了上述配置,我们还缺少Secondary NameNode的配置,可以从以下官方网页查看相关的配置:

    https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

    hdfs-default.xml总所罗列的配置项,就是可以用于hdfs-site.xml配置文件中的配置项。

    我们可以看到:

    参照这一条信息,在hdfs-site.xml中配置Secondary的IP和端口:

    vi hdfs-site.xml
    
    <configuration>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>pseudo_hadoop:50090</value>
        </property>
    </configuration>

    参考core-default.xml的配置:

    https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

     上面默认定义了一个tmp路径,在/tmp目录下的文件存在丢失的风险。因为该路径被hdfs-default.xml中引用:

     而dfs.namenode.name.dir下会存放fsimage等重要的恢复数据,所以我们要修改hadoop.tmp.dir的值,将其修改到/var目录下:

    vi core-site.xml
    
    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/var/hadoop/pseudo</value>
        </property>
    </configuration>

    六.配置总结

    # 分别修改hadoop-env.sh  mapred-env.sh  yarn-env.sh的JAVA_HOME
    vi hadoop-env.sh
    vi mapred-env.sh
    vi yarn-env.sh
    
    export JAVA_HOME=/usr/java/jdk1.7.0_80
    # core-site.xml
    <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://pseudo_hadoop:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/pseudo</value> </property> </configuration>
    # hdfs-site.xml
    <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>pseudo_hadoop:50090</value> </property> </configuratiot>
    # slaves
    
    pseudo_hadoop

    七.格式化hdfs

    hdfs namenode -format
    19/11/09 15:30:14 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1626595325-192.168.1.188-1573284614538
    19/11/09 15:30:14 INFO common.Storage: Storage directory /var/hadoop/pseudo/dfs/name has been successfully formatted.
    19/11/09 15:30:14 INFO namenode.FSImageFormatProtobuf: Saving image file /var/hadoop/pseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
    19/11/09 15:30:14 INFO namenode.FSImageFormatProtobuf: Image file /var/hadoop/pseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
    19/11/09 15:30:14 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
    19/11/09 15:30:14 INFO util.ExitUtil: Exiting with status 0
    19/11/09 15:30:14 INFO namenode.NameNode: SHUTDOWN_MSG: 
    /************************************************************
    SHUTDOWN_MSG: Shutting down NameNode at pseudo_hadoop/192.168.1.188
    ************************************************************/

    格式化成功后,我们可以看到/var/hadoop/pseudo下产生了一系列文件:

    ll /var/hadoop/pseudo/dfs/name/current
    total 16
    -rw-r--r-- 1 root root 321 Nov  9 15:30 fsimage_0000000000000000000
    -rw-r--r-- 1 root root  62 Nov  9 15:30 fsimage_0000000000000000000.md5
    -rw-r--r-- 1 root root   2 Nov  9 15:30 seen_txid
    -rw-r--r-- 1 root root 206 Nov  9 15:30 VERSION

    其中fsimage_00000000000000000就是生成的fsimage文件

    VERSION中的信息:

    [root@node001 current]# cat VERSION
    #Sat Nov 09 16:30:14 CST 2019
    namespaceID=2129432166
    clusterID=CID-df89713b-55fa-457e-952c-4e024893c770
    cTime=0
    storageType=NAME_NODE
    blockpoolID=BP-849051996-192.168.1.188-1573288214053
    layoutVersion=-60

    其中最重要的是clusterID,代表集群的唯一标识。提供给所有集群中角色共用。

    注意:每次格式化clusterID都会变化,可能会导致与其他角色的ID不一致,所以一个集群理论上只能格式化一次。

    八.启动集群

    [root@node001 pseudo]# start-dfs.sh

    Starting namenodes on [node001] node001: starting namenode, logging to /opt/hadoop-2.6.5/logs/hadoop-root-namenode-node001.out node001: starting datanode, logging to /opt/hadoop-2.6.5/logs/hadoop-root-datanode-node001.out Starting secondary namenodes [node001] node001: starting secondarynamenode, logging to /opt/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-node001.out

    使用jps查看java进程:

    [root@node001 pseudo]# jps
    
    1952 Jps
    1833 SecondaryNameNode
    1574 NameNode
    1688 DataNode

    可以看到NameNode、DataNode以及SecondaryNameNode都已成功启动。

    错误记录:之前的安装过程中,将hostname设置为了pseudo_hadoop,由于hostname中存在"_"符号,所以导致启动报错。

    [root@node001 pseudo]# start-dfs.sh
    Starting namenodes on []
    node001: starting namenode, logging to /opt/hadoop-2.6.5/logs/hadoop-root-namenode-node001.out
    node001: starting datanode, logging to /opt/hadoop-2.6.5/logs/hadoop-root-datanode-node001.out

    方括号中没有出现主机名,并且启动完毕后,jps中没有进程号。

    九.查看DataNode信息

    cd /var/hadoop/pseudo/dfs/data/current
    [root@node001 current]# cat VERSION 
    #Sat Nov 09 16:30:31 CST 2019
    storageID=DS-05a76de7-1435-418b-9930-635bc7136160
    clusterID=CID-df89713b-55fa-457e-952c-4e024893c770
    cTime=0
    datanodeUuid=759fb844-e51d-481a-9d32-eb60863c7f43
    storageType=DATA_NODE
    layoutVersion=-56

    我们可以看到clusterID和前述的NameNode中的clusterID一致,说明他们同属一个集群。

    同样我们查看namesecondary节点的信息:

    cd /var/hadoop/pseudo/dfs/namesecondary/current
    [root@node001 current]# cat VERSION
    #Sun Nov 10 01:29:43 CST 2019
    namespaceID=2129432166
    clusterID=CID-df89713b-55fa-457e-952c-4e024893c770
    cTime=0
    storageType=NAME_NODE
    blockpoolID=BP-849051996-192.168.1.188-1573288214053
    layoutVersion=-60

    同样可以发现clusterID与NameNode和Datanode一致。

    十.通过浏览器查看集群

    浏览器访问端口50070:

    十一.在HDFS中创建目录并上传文件

    创建root根目录:

    [root@node001 current]# hdfs dfs -mkdir -p /user/root

    /user/root就是root用户的根目录,上传文件时不指定目录,则会自动放入此目录。

    在浏览器中查看文件系统:

    上传一个文件(例如 jdk-7u80-linux-x64.rpm,大小是132MB):

    [root@node001 software]# hdfs dfs -put jdk-7u80-linux-x64.rpm /user/root/jdk-7u80.rpm

    使用-put上传文件到/user/root下,并将其改名为jdk-7u80.rpm

     我们可以在浏览器中查看已经上传的文件。大小是精确的131.69MB,副本数是1(伪分布式),block size默认是120MB(本文件被分成两个block存放),名字为修改后jdk-7u80.rpm。

    使用命令行查看:

    [root@node001 software]# hdfs dfs -ls /user/root
    Found 1 items
    -rw-r--r--   1 root supergroup  138090286 2019-11-10 03:20 /user/root/jdk-7u80.rpm

    十二.查看HDFS中文件在实际节点上的存储位置

    我们在配置Hadoop时配置的数据目录为/var/hadoop/pseudo

    载hadoop运行后,在/var/hadoop/pseudo/dfs目录下除了name目录,还会产生data目录和namesecondary目录:

    [root@node001 dfs]# ll
    total 0
    drwx------ 3 root root 38 Nov  9 16:30 data
    drwxr-xr-x 3 root root 38 Nov  9 16:30 name
    drwxr-xr-x 3 root root 38 Nov  9 17:29 namesecondary

    data目录代表的是DataNode的数据存放位置,所以文件block是存放在该目录下的:

    [root@node001 subdir0]# ll /var/hadoop/pseudo/dfs/data/current/BP-849051996-192.168.1.188-1573288214053/current/finalized/subdir0/subdir0
    total 135916
    -rw-r--r-- 1 root root 134217728 Nov 10 03:20 blk_1073741825
    -rw-r--r-- 1 root root   1048583 Nov 10 03:20 blk_1073741825_1001.meta
    -rw-r--r-- 1 root root   3872558 Nov 10 03:20 blk_1073741826
    -rw-r--r-- 1 root root     30263 Nov 10 03:20 blk_1073741826_1002.meta

    在这个很深的目录中,我们可以看到jdk文件对应的两个block文件,以及附带的元数据文件。

    十三.查看edits文件

    在对集群进行操作后,我们查看NameNode所生成的edits文件:

    [root@node001 current]# ll /var/hadoop/pseudo/dfs/name/current
    total 1092
    -rw-r--r-- 1 root root      42 Nov  9 17:29 edits_0000000000000000001-0000000000000000002
    -rw-r--r-- 1 root root      42 Nov  9 18:29 edits_0000000000000000003-0000000000000000004
    -rw-r--r-- 1 root root      42 Nov  9 19:29 edits_0000000000000000005-0000000000000000006
    -rw-r--r-- 1 root root      42 Nov  9 20:29 edits_0000000000000000007-0000000000000000008
    -rw-r--r-- 1 root root      42 Nov  9 21:29 edits_0000000000000000009-0000000000000000010
    -rw-r--r-- 1 root root      42 Nov  9 22:29 edits_0000000000000000011-0000000000000000012
    -rw-r--r-- 1 root root      42 Nov  9 23:29 edits_0000000000000000013-0000000000000000014
    -rw-r--r-- 1 root root      42 Nov 10 00:29 edits_0000000000000000015-0000000000000000016
    -rw-r--r-- 1 root root      42 Nov 10 01:29 edits_0000000000000000017-0000000000000000018
    -rw-r--r-- 1 root root      42 Nov 10 02:29 edits_0000000000000000019-0000000000000000020
    -rw-r--r-- 1 root root     902 Nov 10 03:29 edits_0000000000000000021-0000000000000000033
    -rw-r--r-- 1 root root 1048576 Nov 10 03:29 edits_inprogress_0000000000000000034
    -rw-r--r-- 1 root root     321 Nov 10 02:29 fsimage_0000000000000000020
    -rw-r--r-- 1 root root      62 Nov 10 02:29 fsimage_0000000000000000020.md5
    -rw-r--r-- 1 root root     557 Nov 10 03:29 fsimage_0000000000000000033
    -rw-r--r-- 1 root root      62 Nov 10 03:29 fsimage_0000000000000000033.md5
    -rw-r--r-- 1 root root       3 Nov 10 03:29 seen_txid
    -rw-r--r-- 1 root root     205 Nov  9 16:30 VERSION

    我们可以看到生成了很多edits文件,这些文件就是用来记录每一次的操作日志,并在check point将其与fsimage进行合并,提供恢复机制。

    保持学习,否则迟早要被淘汰*(^ 。 ^ )***
  • 相关阅读:
    IE7 下父元素及子元素的隐藏顺序带来的 display:none bug
    PHP 类的魔术方法及类的自动加载
    元素及文本的居中
    软件工程个人作业 词频统计
    读书笔记——《最后期限》
    读书笔记——《构建之法》
    [Reading] Asking while Reading
    【Paper Reading】Learning while Reading
    Android学习一:文件操作
    Android学习九:屏幕自适应
  • 原文地址:https://www.cnblogs.com/leokale-zz/p/11825758.html
Copyright © 2020-2023  润新知