• 怎么安装Hadoop


      使用命令:java -version 查看版本信息,这里要安装Java8(更新到8),安装方法见上一篇文章,jdk安装

      要安装hadoop自然要先下载安装包,关于版本的信息请点击:Hadoop版本信息  或者 官网版本信息 查看。下图是版本信息的展示:

      

      

      这里我们安装Hadoop-2.6.4,进入Linux系统,解压到 /usr/local/hadoop:

      cd /usr/local

      mkdir hadoop

      将文件解压到上面的目录

    进入local/hadoop ,设置无密登陆:

      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

      cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

      ssh localhost

      进入vi /etc/hostname 编辑内容为 Master

      进入 vi /etc/hosts 编辑:注释前两行,添加:192.168.80(这是你机器的IP,使用ifconfig查询)  Master

    在hadoop文件下创建下面的文件: 

      

    在终端执行完之后,修改配置文件:

      1、进入Hadoop的配置文件

        cd /usr/local/hadoop/hadoop-2.6.4/etc/hadoop

      2、vi hadoop-env.sh 添加 如下:

        #export JAVA_HOME=${JAVA_HOME} 要注释的内容

        export JAVA_HOME=/usr/local/jdk1.7.0_80

      3、vi yarn-env.sh

        export JAVA_HOME=/usr/local/jdk1.7.0_80  添加内容

      4、vi core-site.xml,在<configuration>标签里添加:

    1 <property>
    2         <name>fs.defaultFS</name>
    3         <value>hdfs://Master:9000</value>
    4 </property>
    5 <property>
    6         <name>hadoop.tmp.dir</name>
    7         <value>/usr/local/hadoop/tmp</value>
    8 </property>

      5、vi hdfs-site.xml ,在<configuration>标签里添加:

    1 <property>
    2         <name>dfs.namenode.name.dir</name>
    3         <value>file:/usr/local/hadoop/hdfs/name</value>
    4 </property>

      6、cp mapred-site.xml.template mapred-site.xml改个名字,然后进入修改 ,在<configuration>标签里添加:

        <name>mapreduce.framwork.name</name>

        <value>yarn</value>

      7、vi yarn-site.xml 进入添加配置:

    1 <configuration>
    2 
    3 <!-- Site specific YARN configuration properties -->
    4 <property>
    5         <name>yarn.nodemanager.aux-services</name>
    6         <value>mapreduce_shuffle</value>
    7 </property>
    8 
    9 </configuration>

      8、cd /usr/local/hadoop/hadoop-2.6.4/bin进入bin目录

      9、./hdfs namenode -format 重置

      10、cd ..  ; cd sbin

        

      11、./start-all.sh 开启服务

      12、jps 

        

      此时安装完成。

       在你的Windows浏览器访问hadoop,如:196.6501.80:8088

      

      输入端口50070:

      

      你输入IP访问时,会显示防火墙开启的问题,在终端执行下面的命令就可以得到上面的结果:

        firewall-cmd --state

        systemctl stop firewalld.service

    清澈的爱,只为中国
  • 相关阅读:
    机器学习的定义和分类
    选股
    mysql修改密码
    快速排序
    php的错误类型
    MySQL数据库优化
    库存超卖问题
    循环处理
    kafka安装配置
    JavaScript、jQuery杂记
  • 原文地址:https://www.cnblogs.com/dan-baishucaizi/p/9232241.html
Copyright © 2020-2023  润新知