• linux下安装hadoop


    关键词:Ubuntu;hadoop;

    注意:开始这一步之前,需安装Oracle的jdk,参见:

    http://www.cnblogs.com/fengfengqingqingyangyang/archive/2012/11/06/2756981.html

    1、下载hadoop的合适版本:http://labs.mop.com/apache-mirror/hadoop/common/

    我下载的是hadoop-1.1.0.tar.gz

    2、在/usr下创建hadoop目录,并将gz文件复制到hadoop目录下;

      命令行下解压gz文件:tar -xzf hadoop-1.1.0.tar.gz

      为方便管理,修改目录名:mv hadoop-1.1.0 hadoop

    3、创建名为hadoop的用户组和用户

      addgroup hadoop  #用户组

      adduser --ingroup hadoop hadoop

    ps:创建用户时只需输入密码即可,其他回车选择默认

    4、gedit打开sudoers文件,修改hadoop的权限:

      gedit /etc/sudoers    

    ps:无法打开sudoers时,请切换至root再执行本条及以下语句。

        在root ALL=(ALL)ALL语句之下添加如下一行后保存sudoers:

    hadoop ALL=(ALL)ALL

    PS:特别注意大小写!!!血和泪的教训告诉你linux中大小写的重要性!!!

    5、创建ssh-key:

    5.1、确保网络通畅,然后装载ssh服务 

       apt-get install openssh-server 

      注:如果此语句执行失败且结果为“....包被占用”的话,那么应该是ubuntu的“更新管理器”正在后台更新,关闭更新。

    5.2、生成密钥

     ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  #其中‘’为两个而分号!

    5.3、设置免密钥登陆

     cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    5.3、进入.ssh目录,执行$ssh localhost

     cd /home

     ssh localhost 

    注1: ssh密钥默认保存在/home/hadoop/.ssh里面,.ssh文件是隐藏文件,需要Ctrl+h才能见到。

    注2:如果执行ssh localhost后,遇到这样的错误:

    hadoop@ubuntu:~$ ssh localhost

    ssh: connect to host localhost port 22: Connection refused

    方法是:再安装一遍SSH

     apt-get install openssh-server 

    6、配置hadoop

    6.1、进入到hadoop目录下,配置conf目录下的hadoop-env.sh中的JAVA_HOME 

       $ cd /usr/hadoop/hadoop  #根据你解压hadoop的位置而定

       $ sudo gedit conf/hadoop-env.sh 

    (打开后在文档的上部某行有“#export JAVA_HOME=......”字样的地方,去掉“#”,然后在等号后面填写你的jdk路径,完全按此文档来的话应改为 " export JAVA_HOME=/usr/java/jdk1.6.0_34" ) 

    6.2、配置conf目录下的core-site.xml 

      $ sudo gedit conf/core-site.xml 

    打开后标签<configuration> </configuration>中是空的,所以在空的地方加入如下配置:

    Xml代码

    <property>

           <name>fs.default.name</name>

           <value>hdfs://localhost:9000</value> 

    </property>

     

     <property>

           <name>dfs.replication</name>

           <value>1</value> 

    </property>

     

    <property> 

           <name>hadoop.tmp.dir</name>

           <value>/usr/hadoop/hadoop/tmp</value>  <!--这里为安装路径,并且要事先mkdir个temp目录--> 

    </property>

      

    6.3、配置conf目录下的mapred-site.xml 

        $ sudo gedit conf/mapred-site.xml 

    打开后标签<configuration> </configuration>中也是空的,添加如下配置: 

    Xml代码

    <property>    

          <name>mapred.job.tracker</name>    

          <value>localhost:9001</value>  

     </property>  

    7、首次进入需格式化namenode:

    7.1、先进入hadoop目录 

       $ cd /usr/hadoop/hadoop #与解压的hadoop包路径有关

    7.2、格式化namenode 

       $ hadoop namenode -format  

    PS:如果hadoop没响应,切换到root模式查看/etc/profile文件中在配置jdk路径时的"export PATH=......."中是否有hadoop的路径,如果没有加上则添加,并重新启动即可:

    hadoop如果仍旧不能用的话,不妨用带路径的命令方式:~/usr/hadoop/hadoop/bin/hadoop

    PS:记得用echo $?查看是否执行成功:返回0说明成功;返回其他说明仍有错误!

    8、启动hadoop进程:

    bin/start-all.sh 

    PS:如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西,然后重新格式化namenode

    9、用jps查看打开的进程:

    至此,单机的hadoop安装完毕!

  • 相关阅读:
    一道压强题
    考试习惯的审题+习题+电脑存放目录记录
    产品需求分类及KANO模型需求排序学习
    马斯洛需求层次理论及其新拓展学习笔记
    12-JQuery学习之bind绑定事件
    11-JQuery学习之ready预加载事件
    09-JQuery学习之删除元素
    10-JQuery学习之遍历元素
    08-JQuery学习之创建元素和添加元素
    06-JQuery学习之操作元素的样式
  • 原文地址:https://www.cnblogs.com/fengfengqingqingyangyang/p/2757309.html
Copyright © 2020-2023  润新知