• Hadoop之伪分布环境搭建


    搭建伪分布环境

    • 上传hadoop2.7.0编译后的包并解压到/zzy目录下

    mkdir /zzy

    解压

    tar -zxvf hadoop.2.7.0.tar.gz -C /zzy

     

     

    • 配置hadoop

    注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

        伪分布式需要修改5个配置文件

    第一个:hadoop-env.sh

            vim hadoop-env.sh

            #第27行

            export JAVA_HOME=/usr/java/jdk1.7.0_79

            

    第二个:core-site.xml

            <!--指定fs的默认名称-->

            <property>

    <name>fs.default.name</name>

    <value>hdfs://zzy:9000</value>

    </property>

            <!-- 指定HDFS的老大(NameNode)的地址 -->

            <property>

                <name>fs.defaultFS</name>

                <value>hdfs://zzy:9000</value>

            </property>

            <!-- 指定hadoop运行时产生文件的存储目录 -->

            <property>

                <name>hadoop.tmp.dir</name>

                <value>/zzy/hadoop-2.7.0/tmp</value>

    </property>

            

    第三个:hdfs-site.xml

            <!-- 指定HDFS副本的数量 -->

            <property>

                <name>dfs.replication</name>

                <value>1</value>

    </property>

            

    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

            mv mapred-site.xml.template mapred-site.xml

            vim mapred-site.xml

            <!-- 指定mr运行在yarn上 -->

            <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

    </property>

            

    第五个:yarn-site.xml

            <!-- 指定YARN的老大(ResourceManager)的地址 -->

            <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>zzy</value>

            </property>

            <!-- reducer获取数据的方式 -->

            <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

    • 将hadoop添加到环境变量

    vim /etc/profile

    内容如下:

    JAVA_HOME=/usr/java/jdk1.7.0_79

    HADOOP_HOME=/zzy/hadoop-2.4.1

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     

    让配置生效:

    source /etc/profile

     

    • 格式化namenode(是对namenode进行初始化)

    hdfs namenode -format 或者 hadoop namenode -format

     

    • 启动hadoop

       

      • 先启动HDFS

      sbin/start-dfs.sh

            

    • 再启动YARN

        sbin/start-yarn.sh

     

    • 验证是否启动成功

    使用jps命令验证

    27408 NameNode

    28218 Jps

    27643 SecondaryNameNode

    28066 NodeManager

    27803 ResourceManager

    27512 DataNode

        

    http://192.168.0.2:50070 (HDFS管理界面)

    http://192.168.0.2:8088 (MR管理界面)

     

    Hadoop环境测试

    • 测试HDFS
      • HDFS shell操作

      #查看帮助

                hadoop fs -help <cmd>

    #上传

                hadoop fs -put <linux上文件> <hdfs上的路径>

    #查看文件内容

                hadoop fs -cat <hdfs上的路径>

    #查看文件列表

                hadoop fs -ls /

    #下载文件

                hadoop fs -get <hdfs上的路径> <linux上文件>

     

    • 上传文件到hdfs文件系统上

    hadoop fs -put <linux上文件> <hdfs上的路径>

    例如:hadoop fs -put /root/install.log hdfs://zzy:9000/

    • 删除hdfs系统文件

    hadoop fs -rmr hdfs://zzy:9000/install.log

     

    注:如果能正常上传和删除文件说明HDFS没问题。

    • 测试Yarn
      • 上传一个文件到HDFS

      hadoop fs -put words.txt hdfs://zzy:9000/

       

      • 让Yarn来统计一下文件信息

      cd /$HADOOP_HOME/etc/hadoop/share/hadoop/target/mapreduce/

      #测试命令

      hadoop jar hadoop-mapreduce-examples-2.7.0.jar wordcount /works.txt hdfs://zzy:9000/wc

       

       

      注:如果能正常生成一个目录,并把统计信息输出到文件夹下,说明Yarn没问题。

  • 相关阅读:
    冒泡排序
    希尔排序
    现实中遇到的业务状况记录
    OneZero第二周第二次站立会议(2016.3.29)
    OneZero第二周第一次站立会议(2016.3.28)
    OneZero第五次站立会议(2016.3.25)
    OneZero第四次站立会议(2016.3.24)
    PSP(3.16——3.22)以及周记录
    OneZero第三次站立会议(2016.3.23)
    读“软工实践总结作业”有感
  • 原文地址:https://www.cnblogs.com/chaoren399/p/4702659.html
Copyright © 2020-2023  润新知