• hadoop--环境配置


    1:修改主机名和IP的映射关系   vim /etc/hosts     192.168.1.101 itcast

    2:修改主机名:  vi /etc/sysconfig/network     (Master  )

    3:关闭防火墙   

    #查看防火墙状态      service iptables status

    #关闭防火墙    service iptables stop
    #查看防火墙开机启动状态  chkconfig iptables --list
    #关闭防火墙开机启动  chkconfig iptables off

    4:安装jdk   

    1):mkdir  /uer/java

    2): 将jdk解压至/usr/java    ./jdk-6u45-linux-i586.bin /usr/java/

    3):将java添加到环境变量中  vim /etc/profile

    #在文件最后添加  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
              export PATH=$PATH:$JAVA_HOME/bin
    #刷新配置  source /etc/profile

    5:安装hadoop

    1):mkdir /home/hadoop

    2):将hadoop解压至 /home/hadoop/     tar zxvf  hadoop-2.4.1.tar.gz /home/hadoop/

    3): 修改hadoop 配置文件

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
        </property>
      
        第三个:hdfs-site.xml hdfs-default.xml (3)
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
        第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    4): 将hadoop添加到环境变量  vi /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

        source /etc/profile

    6:时间同步:

    7:修改ip:

  • 相关阅读:
    Mongo 应用查询
    Rocket MQ 问题排查命令
    阿里云部署杂记-节约时间
    linux shell 杂
    垃圾回收算法学习
    Hbase数据读写流程
    TCP 协议相关
    Netty
    ELK
    MiniGUI
  • 原文地址:https://www.cnblogs.com/zqzdong/p/4876849.html
Copyright © 2020-2023  润新知