• Hadoop详细配置教程


    windows下采用PuTTY或者Xshell连接远程主机

    mac用终端连接远程linux主机:ssh user@hostname

    user 为 linux 服务器的管理员名称

    hostname 为 linux 服务器的IP 

    注意:

    pwd 可显示当前目录所在位置。

    使用who命令可以查看当前登录用户,使用w命令可以看到所有登录用户信息。

    查看主机名hostname命令:hostname 或者 uname -n

    查看系统版本、内核等详细信息:uname -a

    linux如何查看主机的cpu个数和总内存:cat /proc/cpuinfo 和 cat /proc/meminfo

    安装jdk
    # ls
    # javac //检测java环境(得出提示,按提示安装)
    # sudo apt-get install openjdk-7-jdk
    # javac //检测java环境
    # vim /etc/profile
    键盘输入a,进入编辑模式,编辑文件,设置JAVA环境变量
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
    点ESC键退出编辑模式
    输入:wq保存退出
    # source /etc/profile   (使之生效)
    # javac //检测java环境

    安装hadoop
    下载hadoop:
    # wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
    # ls
    # mv hadoop-1.2.1.tar.gz /opt/  (把hadoop安装包放到opt目录下,注:mkdir为创建文件夹命令)
    # cd /opt/
    # ls
    # tar -zxvf hadoop-1.2.1.tar.gz   (解压缩)
    # ls
    # cd hadoop-1.2.1/
    # ls
    (主要配置的文件夹为conf)
    # cd conf/
    # ls
    主要配置4个文件:mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh
    # vim hadoop-env.sh
    编辑有export=JAVA_HOME那一行:去掉前面#号,export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    如果忘了java环境变量地址,先退出,然后通过 # echo $JAVA_HOME 查看变量地址,然后复制下来去粘贴。最后:wq保存

    # vim core-site.xml(注:imooc是自己本机的hostname即主机名,9000是端口号)
    配置内容:
    <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop</value>
    </property>

    <property>
    <name>dfs.name.dir</name>
    <value>/hadoop/name</value>
    </property>

    <property>
    <name>fs.default.name</name>
    <value>hdfs://imooc:9000</value>
    </property>

    </configuration>

    :wq保存退出

    # vim hdfs-site.xml
    配置内容:
    <configuration>
    <property>
    <name>dfs.data.dir</name>
    <value>/hadoop/data</value>
    </property>

    </configuration>

    :wq保存退出

    # vim mapred-site.xml
    配置内容:
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>imooc:9001</value>
    </property>

    </configuration>

    :wq保存退出

    # vim /etc/profile (hadoop环境变量配置)
    export HADOOP_HOME=/opt/hadoop-1.2.1
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
    :wq保存退出

    # source /etc/profile (设置生效)
    # hadoop (检测hadoop)
    # cd ..
    # cd bin/ (即/opt/hadoop-1.2.1/bin目录)
    # ls
    # hadoop namenode -format (对namenode进行格式化操作)

    启动hadoop:
    # cd /opt/hadoop-1.2.1/bin/
    # ls
    # start-all.sh
    # jps (使用jps查看hadoop是否运行正常,运行了哪些进程)


    # hadoop fs -ls /(看看hadoop下面有哪些文件)

  • 相关阅读:
    机器人平台框架Yarp
    Git常用使用技巧
    Qt 5.x 开发技巧
    ROS (Robot Operating System) 相关资料与文档
    图形图像技术在手游中的潜在应用
    【Jmeter】Jmeter参数化的几种方式
    【Jmeter】调试取样器(Debug Sampler)进行调试
    【jmeter】实现接口关联的两种方式:正则表达式提取器和json提取器
    【Jmeter】Jmeter安装配置教程
    【Jmeter】第一个接口测试案例
  • 原文地址:https://www.cnblogs.com/abelsu/p/5138120.html
Copyright © 2020-2023  润新知