• Hadoop-1.0.4伪分布安装与配置


    1、采用伪分布模式安装
         将hadoop-****.tar.gz复制到linux的/usr/local目录下。
    2、解压,重命名
         #tar -xzvf hadoop-1.0.4.tar.gz
           #mv hadoop-1.0.4 hadoop
    3、配置环境变量
         vi /etc/profile,在文件java_home后添加,export HADOOP_HOME=/usr/local/hadoop
         在PATH后面添加:$HADOOP_HOME/bin
         可以设置一个别名,从linux中快速进入到hadoop目录下:
         alias chha='cd /usr/local/hadoop'
         在命令中,输入chha就可以快速进入hadoop中。
         source /etc/profile
    4、修改hadoop的配置文件,所有配置文件都在conf文件夹下
         (1)hadoop-env.sh
              修改第9行,去掉注释,exprto JAVA_HOME=/usr/local/jdk
         (2)core-site.xml
     
       
         (3)hdfs-site.xml

         (4)
    mapred-site.xml
    5、hdfs是文件系统,第一次使用之前需要进行格式化,
         $HADOOP_HOME/bin/hadoop namenode -format
    6、启动hadoop程序,由于hadoop由hdfs文件系统,MapReduce两个部分组成,所以可以有三种启动方式
         (1)全部启动,start-all.sh
                   全部关机,stop-all.sh
         全部启动,用jps进行查看,有6项,缺一项即表示不成功
         
         (2)分别启动HDFS和MapReduce
              start-dfs.sh     启动HDFS
              start-mapred.sh     启动MapReduce     
         (3)分别各个启动进程
              hadoop-daemon.sh start namenode
              hadoop-daemon.sh start datanode
              hadoop-daemon.sh start secondarynamenode
              hadoop-daemon.sh start jobtracker
              hadoop-daemon.sh start tasktracker
         若/etc/hosts中设置的名称hadoop0与core-site.xml和mapred-site.xml中的不同,启动不成功。如本例中,这两个文件中都是book0,应该改成hadoop0
    7、可以运行hadoop中自带的example进行展示

  • 相关阅读:
    Ubuntu 17.10 联网、jdk配置、初始化
    记一次与为知笔记的客服沟通
    C++ Primer zh 5th 思维导图
    《程序员健康指南(The Healthy Programmer)》笔记
    Learn_OpenGL_002_你好,长方形
    Learn_OpenGL_001_环境配置
    Visual Studio Community 2017 配置 OpenGL 环境
    oracle删除数据库
    oracle修改审计功能
    dataguard日志自动删除
  • 原文地址:https://www.cnblogs.com/wuyida/p/6300272.html
Copyright © 2020-2023  润新知