• 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (5)


    tmpBE58

    Root用户登录Master, 把 /home/hadoop目录下的hadoop-bin.tar.gz文件复制到 /usr文件夹下。

    tmpFC42

    进入 /usr文件夹,解压 hadoop-bin.tar.gz文件: tar –zxvf hadoop.tar.gz

    tmpD41B

    解压后并重命名为hadoop :mv hadoop-1.0.0 hadoop

    配置hadoop文件用户权限: chown -R hadoop:hadoop hadoop

    删除 hadoop.tar.gz: rm -rf hadoop.tar.gz

    tmp8E94

    在 /usr/hadoop文件夹下创建文件夹tmp

    tmp604

    把 hadoop用户的权限赋予 tmp文件夹

    chown -R hadoop:hadoop /usr/hadoop/tmp

    tmpF7F2

    配置环境变量: vim /etc/profile

    #set hadoop path

    export HADOOP_HOME=/usr/hadoop
    export PATH=$PATH :$HADOOP_HOME/bin

    使用 source /etc/profile 使之生效

    tmp5290

    进入 /usr/hadoop/conf 文件夹下,修改配置文件 hadoop-env.sh: vim hadoop-env.sh

    在末尾添加:

    #set java environment

    export JAVA_HOME=/usr/java/jdk1.6.0_45

    tmpB7AA

    配置 core-site.xml文件,在configuration中间添加:

    <property>
      <name>hadoop.tmp.dir</name>
          <value>/usr/hadoop/tmp</value>
          <description>A base for other temporary directories.</description>

      </property>

      <property>
          <name>fs.default.name</name>
          <value>hdfs://192.168.1.50:9000</value>

      </property>

    tmp2D67

    配置 vim hdfs-site.xml, 在configuration 中添加:

    <property>
      <name>dfs.replication</name>
        <value>3</value>
        </property>

    tmpC949

    配置masters文件,将localhost 改为 Master的ip地址: 192.168.1.50

    tmpA21B

    修改 slaves 文件: vim slaves

    localhost 改为:

    192.168.1.51

    192.168.1.52

    192.168.1.53

    tmpDA2C

    作为对于slave节点的安装,把master的hadoop文件夹复制到slave的/usr 文件夹下即可。

    Master root复制hadoop 到 slave1:scp -r /usr/hadoop root@192.168.1.21:/usr/

    tmpF34A

    tmpFD97

    slave 节点,进入/usr文件夹,发现已经复制过来的hadoop文件夹,进而修改其访问权限。

    chown -R hadoop:hadoop hadoop  使之可以被hadoop用户访问。

    tmpD8AB

    配置 slave的环境变量:

    vim /etc/profile, 在最后添加

    #set hadoop path
    export HADOOP_HOME=/usr/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin

    最后 source /etc/profile ,使之生效。

  • 相关阅读:
    scala 基础
    Feign拦截器和解码器
    SpringCloud对使用者透明的数据同步组件
    POI SXSSF API 导出1000万数据示例
    HDFS文件浏览页返回上级目录功能
    Spring Security OAuth2.0
    Spring Security实现OAuth2.0授权服务
    Spring Security实现OAuth2.0授权服务
    Zookeeper学习笔记:简单注册中心
    Eclipse集成Git做团队开发:分支管理
  • 原文地址:https://www.cnblogs.com/datascientist/p/3432615.html
Copyright © 2020-2023  润新知