• ubuntu下安装hadoop


    Ubuntu版本是14.04 LTS。

    安装Hadoop之前需要安装JDK,安装方法参见另一篇博文Ubuntu12.04中安装Oracle JDK和NetBeans的方法

    首先,去官网下载Hadoop安装包

    http://www.apache.org/dyn/closer.cgi/hadoop/common/

    我下载的是hadoop-1.2.1.tar.gz。

    1、创建管理用帐号

    在终端中执行如下命令:

    1 sudo adduser hadoop

    然后根据提示设置账号密码。接着打开“用户账户”对话框,将hadoop用户的账户类型由“标准”改为“管理员”。

    2、安装ssh服务

    首先在终端中输入如下命令切换到hadoop用户:

    1 su - hadoop

    接下来安装ssh服务:

    1 sudo apt-get install ssh openssh-server

    3、ssh无密码验证登陆

    创建ssh-key,采用rsa方法,输入如下命令:

    1 ssh-keygen -t rsa -P ""
    1 cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

    然后就可以无密码验证登陆了,输入如下命令进行测试:

    1 ssh localhost

    退出命令为:

    1 exit

    4、解压Hadoop安装包

    首先,把源代码包复制到/home/hadoop/目录下:

    1 cp hadoop-1.2.1.tar.gz /home/hadoop

    然后解压缩:

    1 tar -xzvf hadoop-1.2.1.tar.gz

    5、配置hadoop的hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml

    配置hadoop-env.sh,打开文件:

    1 sudo vim /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

    找到export JAVA_HOME,去掉前面的#号,加上JDK路径,保存退出。

    配置core-site.xml,打开文件:

    1 sudo vim /home/hadoop/hadoop-1.2.1/conf/core-site.xml

    将如下<configuration></configuration>之前的内容添加进去,保存退出:

     1 <?xml version="1.0"?>
     2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
     3 
     4 <!-- Put site-specific property overrides in this file. -->
     5 
     6 <configuration>
     7         <property>
     8             <name>fs.default.name</name>
     9             <value>hdfs://localhost:9000</value>
    10         </property>
    11     <property>
    12           <name>hadoop.tmp.dir</name>
    13           <value>/home/hadoop/hadoop-1.2.1/tmp</value>
    14          <description>A base for other temporary directories.</description>
    15     </property>
    16 
    17 
    18 </configuration>

    配置mapred-site.xml,打开文件:

    1 sudo vim /home/hadoop/hadoop-1.2.1/conf/mapred-site.xml

    将如下<configuration></configuration>之前的内容添加进去,保存退出:

     1 <?xml version="1.0"?>
     2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
     3 
     4 <!-- Put site-specific property overrides in this file. -->
     5 
     6 <configuration>
     7     <property>
     8         <name>mapred.job.tracker</name>
     9         <value>localhost:9001</value>
    10     </property>
    11 </configuration>

    配置hdfs-site.xml,打开文件:

    1 sudo vim /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

    将如下<configuration></configuration>之前的内容添加进去,保存退出:

     1 <?xml version="1.0"?>
     2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
     3 
     4 <!-- Put site-specific property overrides in this file. -->
     5 
     6 <configuration>
     7     <property>
     8         <name>dfs.replication</name>
     9         <value>1</value>
    10     </property>
    11 
    12 </configuration>

    至此Hadoop的安装配置已经完毕。

    6、格式化hdfs文件系统

    进入hadoop-1.2.1,执行:

    1 ./bin/hadoop namenode -format

    7、启动hadoop服务

    启动服务:

    1 ./bin/start-all.sh

    查看Java虚拟机运行的线程:

    1 jps

    除了Jps,有5个hadoop相关的线程,说明hadoop运行正常。

    退出hadoop:

    1 ./bin/stop-all.sh
  • 相关阅读:
    【快速选择算法与nth_element函数】【续UVA11300 】
    【贪心+中位数】【UVa 11300】 分金币
    【贪心】【Uva11729】 Commando War
    np.random.randn()、np.random.rand()、np.random.randint()
    numpy.unpackbits()
    tf.get_variable()
    tf.truncated_normal()
    tf.FIFOQueue()
    np.hsplit()
    np.frombuffer()
  • 原文地址:https://www.cnblogs.com/yougzhao/p/3863500.html
Copyright © 2020-2023  润新知