• Hadoop安装过程


    1、安装JDK

    apt-get install openjdk-7-jdk

    2、配置环境变量

    vim /etc/profile

    编辑:

    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64(jdk安装位置)

    export JRE_HOME=$JAVA_HOME/jre

    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    让配置生效:

    source /etc/profile

    3、配置Hadoop

    3.1 下载Hadoop:

    wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

    3.2 放到/opt/下

    root@imooc:~# mv hadoop-1.2.1.tar.gz /opt/

    3.3 解压:

    root@imooc:/opt# tar -zxvf hadoop-1.2.1.tar.gz

    3.4 配置文件:

    root@imooc:/opt# cd hadoop-1.2.1/conf/

    需要修改的有四个文件:mapred-site.xml    core-site.xml    hdfs-site.xml    hadoop-env.sh

    3.4.1 vim hadoop-env.sh

    修改JAVA_HOME配置(可用echo $JAVA_HOME查看JAVA_HOME位置)

    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

    3.4.2 vim core-site.xml
    <configuration>
        <!-- hadoop工作目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop</value>
        </property>
    
        <!-- namenode所有元数据目录 -->
        <property>
            <name>dfs.name.dir</name>
            <value>/hadoop/name</value>
        </property>
    
        <!-- 文件系统namenode改如何访问,其中imooc为host的name -->
        <property>
            <name>fs.default.dir</name>
            <value>hdfs://imooc:9000</value>
        </property>
    </configuration>
    3.4.3 vim hdfs-site.xml
    <configuration>
        <!-- 文件系统数据存放目录 -->
        <property>
            <name>dfs.data.dir</name>
            <value>/hadoop/data</value>
        </property>
    </configuration>
    3.4.4 vim mapred-site.xml
    <configuration>
        <property>
            <!-- 配置任务调度器改如何访问,其中imooc为主机名 -->
            <name>mapred.job.tracker</name>
            <value>imooc:9001</value>
        </property>
    </configuration>

    3.5 配置hadoop环境变量

    vim /etc/profile

    加上 export HADOOP_HOME=/opt/hadoop-1.2.1

    PATH加上$HADOOP_HOME/bin

    生效 source /etc/profile

    执行hadoop命令,如果有改命令则配置成功,改命令在 /opt/hadoop-1.2.1/bin/ 下。

    4、启动hadoop

    启动之前先对namenode进行格式化:hadoop namenode -format

    启动:start-all.sh(改命令在 /opt/hadoop-1.2.1/bin/ 下),期间需要输出几次密码

    执行jps,如果看到JobTracker   Jps  DataNode   TaskTracker   NameNode   SecondaryNameNode说明hadoop正常运行

  • 相关阅读:
    IE9的兼容性
    element 弹框关闭报错
    时间选择器moment格式化存在时差问题
    项目常见bug
    函数封装——函数封装——函数封装
    element-ui 日期选择器范围时间限制
    vue + element 创建教程
    Html基础学习
    HTML、PHP、CSS、JS之间的关系
    vs连接MySQL
  • 原文地址:https://www.cnblogs.com/LinKArftc/p/4933020.html
Copyright © 2020-2023  润新知