• Linux下配置Hadoop 1.2.1


      首先要下载hadoop的包,版本选择1.2.1的,下载地址为:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/

      

      这里可以下载hadoop-1.2.1-tar.gz包括源码或者hadoop-1.2.1-bin.tar.gz执行包不包括源码,两个文件大小差不多正好是一倍关系

      下载之后通过tar -xzvf hadoop-1.2.1.tar.gz进行解压,解压后放到我们指定的目录中,然后进入conf目录开始配置文件

      主要就是配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml这四个文件,使用vim打开配置

      首先是hadoop.env.sh

      

      JAVA_HOME这个地方把注释去掉,换成jdk的目录,保存退出

      然后是core-site.xml,直接在<configuration>标签之间添加代码即可

      

      第一个属性是hadoop的工作目录,就是/hadoop,第二个是dfs文件系统节点目录,第三个就是本地的服务器端口号是9000

      hdfs-site.xml 配置数据存放目录

    1 <configuration>
    2      <property>
    3          <name>dfs.data.dir</name>
    4          <value>/hadoop/data</value>
    5      </property>
    6 </configuration>

      mapred-site.xml

    1 <configuration>
    2      <property>
    3          <name>mapred.job.tracker</name>
    4          <value>localhost:9001</value>
    5      </property>
    6 </configuration>

      保存之后,可以把hadoop添加到环境变量中,也可以不添加,

      然后按之前说的配置ssh免登陆

      最后执行hadoop下的bin/start-all.sh启动hadoop的进程

      此时访问http://localhost:50030或者http://localhost:50070可以正常打开页面证明配置成功

      然后输入命令jps回车可以看到打开进程和端口,说明hadoop单机模式的配置就成功了

      

      下面可以按照官方文档提供的方法进行测试,能正常输出就可以了

      

      如果中间有问题的话,可以考虑编辑/etc/hosts文件最后一行添加:

      127.0.0.1   计算机名

      计算机名可以通过命令hostname查看,

      如果通过web访问连接失败,可以关闭防火墙,关闭命令是:

    service iptables stop

      高版本红帽使用:

    /bin/systemctl stop iptables.service

      或者

    /etc/init.d/iptables stop

      

  • 相关阅读:
    LeetCode:Multiply Strings
    c/c++ 输入输出缓冲区
    Scala access modifiers and qualifiers in detail
    PUT vs POST in REST
    Redis优化总结
    硬中断和软中断(转)
    Redis监控技巧(转)
    Understanding mysql max_connect_errors
    TCP : two different sockets sharing a port?
    libevent 安装异常
  • 原文地址:https://www.cnblogs.com/freeweb/p/5149140.html
Copyright © 2020-2023  润新知