• hadoop2.2.0伪分布式安装



    修改主机名和IP的映射关系

    vi /etc/hosts

    192.168.61.134 hadoop


    关闭防火墙

    #查看防火墙状态

    service iptables status

    #关闭防火墙

    service iptables stop

    #查看防火墙开机启动状态

    chkconfig iptables --list

    #关闭防火墙开机启动

    chkconfig iptables off

    重启Linux

    reboot

    安装JDK

    上传JDK文件到linux中

    解压jdk

    创建文件夹

    mkdir /usr/java

    在/usr/java目录下安装

    chmod 755 jdk-6u45-linux-i586.bin

    安装

    ./jdk-6u45-linux-i586.bin

    安装完成之后

    重命名jdk的安装文件夹为jdk

    将java添加到环境变量中

    vi /etc/profile

    #在文件最后添加

    export JAVA_HOME=/usr/java/jdk

    export PATH=$PATH:$JAVA_HOME/bin

    刷新配置

    source /etc/profile



    安装Hadoop

    上传hadoop安装包到hadoop宿主目录下

    解压hadoop安装包到hadoop根目录

    tar -zxvf hadoop-2.2.0-64bit.tar.gz

    修改配置文件(5个)

    第一个:hadoop-env.sh

    #在27行修改

    export JAVA_HOME=/usr/java/jdk

    第二个:core-site.xml

    <configuration>

    <!-- 指定HDFS老大(namenode)的通信地址 -->

    <property>

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop:9000</value>

    </property>

    <!-- 指定hadoop运行时产生文件的存储路径 -->

    <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/hadoop/hadoop/tmp</value>

    </property>

    </configuration>

    第三个:hdfs-site.xml

    <configuration>

    <property>

    <name>dfs.replication</name>

    <value>1</value>

    </property>

    </configuration>


    第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

    <configuration>

    <!-- 通知框架MR使用YARN -->

    <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

    </property>

    </configuration>


    第五个:yarn-site.xml

    <configuration>

    <!-- reducer取数据的方式是mapreduce_shuffle -->

    <property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

    </property>

    </configuration>


    3.4将hadoop添加到环境变量

    vi /etc/profile


    export JAVA_HOME=/usr/java/jdk

    export HADOOP_HOME=/home/hadoop/hadoop

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin


    source /etc/profile

    3.5格式化HDFS(namenode)第一次使用时要格式化

    hadoop namenode -format


    3.6启动hadoop

    先启动HDFS

    sbin/start-dfs.sh


    再启动YARN

    sbin/start-yarn.sh


    3.7验证是否启动成功

    使用jps命令验证

    27408 NameNode
    28218 Jps
    27643 SecondaryNameNode
    28066 NodeManager
    27803 ResourceManager
    27512 DataNode

    http://hadoop:50070  (HDFS管理界面)

    在这个文件中添加linux主机名和IP的映射关系

    C:WindowsSystem32driversetchosts

    192.168.61.134 hadoop

    http://hadoop:8088 (MR管理界面)

    4.配置ssh免登陆

    在服务器上

    输入命令

    chmod -R 755 /home/hadoop
    mkdir ~/.ssh
     ssh-keygen -t rsa

    ssh-keygen -t dsa

    rsa和dsa分别生成不同加密格式的ssh密钥,直接一直按回车键保存在默认的路径



    在节点上配置authorized_keys文件

    输入命令

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    将本地的密钥保存在authorized_keys

    输入命令

    chmod -R 700 ~/.ssh

    注意当前你所在的路径


  • 相关阅读:
    开门(open_door_pick_demo.py)的学习教程(十一)
    Bert源码解读(二)
    Transformer和Bert 的学习(一)
    Android笔记
    JSP 第八周课后作业
    JSPd第七周课后作业 2021/04/14
    JSP第六次课后作业 2021/04/07
    JSP第五次课后作业 2021/03/31
    JSP第四次课后作业 2021/03/24
    JSP第二次课后作业 2021/03/10
  • 原文地址:https://www.cnblogs.com/jchubby/p/4429694.html
Copyright © 2020-2023  润新知