• hadoop 1.2.1 安装配置


    1.下载地址

    https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

    2.解压

    tar zxvf hadoop-1.2.1-bin.tar.gz

    3.配置

      1)配置hadoop

    •     core-site.xml
      <configuration>
          <property>
              <name>hadoop.tom.dir</name>
              <value>/home/harry/hadoop</value>
          </property>
      
          <property>
          <name>dfs.name.dir</name>
              <value>/home/harry/hadoop/name</value>
          </property>
      
          <property>
              <name>fs.default.name</name>
              <value>hdfs://u-server:9000</value>
          </property>
      </configuration>

      路径必须是执行的用户有读写权限.u-server是本机(linux)的主机名

    • hdfs-site.xml
      <configuration>
          <property>
          <name>dfs.data.dir</name>
          <value>/home/harry/hadoop/data</value>
          </property>
      </configuration>
    • mapred-site.xml
      <configuration>
          <property>
          <name>mapred.job.tracker</name>
          <value>u-server:9001</value>
          </property>
      </configuration>

      2)配置环境变量

    • HADOOP_HOME:hadoop的位置
    • PATH:将bin添加到PATH中.

      4)测试

      运行 hadoop namenode -format 进行初始化

      运行 start-all.sh命令启动正常即可

      输入jps有以下输出

      

    5494 SecondaryNameNode
    5321 DataNode
    5577 JobTracker
    5145 NameNode
    5835 Jps
    5759 TaskTracker

    3.一些命令

    //格式化namenode

    hadoop namenode -format

    //启动

    start-all.sh

    //查看目录

    hadoop fs -ls /

    //上传文件

    hadoop fs -put xxxx

    //新建目录

    hadoop fs -mkdir input

    //查看文件内容

    hadoop fs -cat xxx

    //下载文件

    hadoop fs get [hadoop上的文件目录] [本地文件位置]

    // 查看当前运行情况

    hadoop dfsadmin -report

    //停止服务

    stopall.sh

  • 相关阅读:
    final详解
    静态与非静态
    静态内部类详解
    iso-----genisoimage/md5sum命令用法
    Docker-----版本选择
    Docker-----deepin系统下docker安装registry
    shell高级-----正则表达式
    kolla-ansible-----rally模块
    shell高级-----创建函数
    jenkins入门-----(1)安装、配置
  • 原文地址:https://www.cnblogs.com/fengyexjtu/p/5125453.html
Copyright © 2020-2023  润新知