• Ubuntu12.04安装hadoop


    1.      创建hadoop用户组和用户

    a.  创建hadoop用户组

    sudo addgroup hadoop

    b.  创建hadoop用户

    sudo adduser –ingroup hadoop hadoop

    c.  编辑/etc/sudoers文件,为hadoop用户添加权限

    sudo vim /etc/sudoers

    给hadoop用户赋予root相同的权限

    hadoop ALL=(ALL:ALL) ALL

    注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存

    2.      安装JDK

    安装JDK的教程网上资料非常多,故省略

    注意:不要安装OpenJDK,在Oracle官网上下载JDK(Oracle JDK不能使用apt-get install安装)

    3.      安装ssh服务

    sudo apt-get install openssh-server

    4.      设置ssh无密码登录

    执行su –命令切换到hadoop用户

    su – hadoop

    ssh生成密钥有rsa和dsa两种,默认采用rsa方式

    a.  创建ssh-key(采用rsa方式)

    ssh-keygen -t rsa -P ""

    b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中

    cd ~/.ssh
    cat id_rsa.pub >> authorized_keys

    c.  无密码登录localhost

    ssh localhost

    d.  退出ssh连接

    exit

    5.      安装hadoop

    a.      复制hadoop文件至/usr/local

    sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/

    b.      解压.tar.gz文件

    cd /usr/local/
    sudo tar -zxvf hadoop-1.1.2.tar.gz

    c.      修改文件名为hadoop

    sudo mv hadoop-1.1.2 hadoop

    d.      将hadoop文件夹的属主用户设为hadoop

    sudo chown -R hadoop:hadoop hadoop

    e.     修改配置文件conf/hadoop-env.sh的JDK路径

    sudo vim hadoop/conf/hadoop-env.sh
    export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45

    f.     修改conf/core-site.xml文件

    sudo vimhadoop/conf/core-site.xml

    配置文件如下所示:

    <?xml version="1.0"?>
    <?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
     
    <!-- Put site-specific property overridesin this file. -->
     
    <configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>
         </configuration>

    g.    修改conf/mapred-site.xml文件

    sudo vimhadoop/conf/mapred-site.xml

    配置文件如下所示:

    <?xml version="1.0"?>
    <?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
     
    <!-- Put site-specific property overridesin this file. -->
     
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
    </property>
         </configuration>

    h.     修改conf/hdfs-site.xml文件

    sudo vimhadoop/conf/hdfs-site.xml

    配置文件如下所示:

    <?xml version="1.0"?>
    <?xml-stylesheettype="text/xsl" href="configuration.xsl"?>
     
    <!-- Put site-specific property overridesin this file. -->
     
    <configuration>
    <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
    </property>
    <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
    </property>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
         </configuration>

    i.    编辑配置文件conf/masters,添加作为secondarynamenode的主机名(单机版仅localhost即可)

    sudo vimhadoop/conf/masters

    j.     编辑配置文件conf/slaves,添加作为slave的主机名(单机版仅localhost即可)

    sudo vimhadoop/conf/slaves

    6.      运行单机版hadoop

    a.  进入hadoop目录,格式化hdfs文件系统(初次运行必做操作)

    bin/hadoop namenode –format

    b.  启动hadoop

    bin/start-all.sh

    c.  查看hadoop是否运行成功

    浏览器中输入http://localhost:50070/查看NameNode

    浏览器中输入http://localhost:50030/查看JobTracker

    d.  停止hadoop

    bin/stop-all.sh

    参考链接:hadoop在ubuntu下的安装配置


  • 相关阅读:
    APP案例分析
    第一次作业
    第0次作业
    结对编程-四则运算
    韩剧TV APP案例分析
    四则运算生成器(基于控制台)
    大学
    JAVA异常机制学习
    散列学习
    PAT 甲级1025 PAT Ranking的
  • 原文地址:https://www.cnblogs.com/javawebsoa/p/3228732.html
Copyright © 2020-2023  润新知