• Hadoop1.2.1 伪分布式安装


    Hadoop1.2.1 单机模式安装

    Hadoop组件依赖图(从下往上看)

     

    安装步骤:

     

    详细步骤:

      设置ssh自动登录(如下图):

      1、输入命令 【ssh-keygen -t rsa】,然后一直按回车就可以了

      2、然后切换目录到 ~ .ssh目录下执行命令【cp id_rsa.pub authorized_keys

      3、这样就完成了,然后测试

        1) 输入命令【ssh localhost】,然后输入【yes】,就会登陆成功另外会看到原本的 .ssh目录变成了 目录

        2) 输入命令【exit】退出,然后还是在以前的.ssh目录下,这时候输入ll会发现多了一个 known_hosts文件,顾名思义。

        3) 然后再次输入命令【ssh localhost】就可以直接登录了,当然还可以【ssh ip地址】、【ssh 主机名】等等,只需第一次输入【yes】,之后就可以直接登录了。

     

    下面进行hadoop相关文件配置:

    1、配置 hadoop 环境文件 hadoop-env.sh

     1) 打开文件,找到某行有 ”# export JAVA_HOME = ...”  字样的地方,去掉 “#” ,然后在等号后面填写你自己的 JDK 路径,比如像我自己的 JDK 路径,那就改为了 如下所示

    export JAVA_HOME=/opt/modules/jdk1.7.0_45

    2) 配置 Hadoop 的核心文件 core-site.xml

      打开文件,会发现标签 <configuration></configuration> 中是空的,在空的地方添加如下配置

      <configuration>

        <property>

              <name>fs.default.name</name>

              <value>hdfs://hadoop-master.dragon.org:9000</value>

        </property>

            <property>

                <name>hadoop.tmp.dir</name>

                <value>/opt/data/tmp</value>

           </property>

      </configuration>

     2、

     

    上面配置项是 hdfs副本数(默认为3),下面配置项为 是否进行权限检查

    <configuration>

      <property>

            <name>dfs.replication</name>

            <value>1</value>

      </property>

         <property>

            <name>dfs.permissions</name>

            <value>false</value>

         </property>

    </configuration>

     3、

    <configuration>

      <property>  

           <name>mapred.job.tracker</name>  

           <value>hadoop-master.dragon.org:9001</value>  

       </property> 

    </configuration>

    当然下面两个也可以用默认配置

    hadoop-master.dragon.org

    hadoop-master.dragon.org

    到这里,基本就算配置完毕了

    测试:

      首先格式化:hadoop namenode -format

      然后启动:

     

      初步学习安装可以一步一步来(hadoopbin目录下)

        可先启动start-dfs.sh

        然后可输入jps观察如下

         

        可在浏览器 输入 http://192.168.1.123:50070看到相关信息(当然也可以输入域名等)

        然后启动start-mapred.sh 

        然后可输入jps观察如下

        

        可在浏览器 输入 http://192.168.1.123:50030看到相关信息(当然也可以输入域名等)

    好了,到这里伪分布式环境搭建就算结束了。

  • 相关阅读:
    我从0开始开发了一个LDAP服务。
    C#开发中常用的小功能
    webapi swagger 报错 路由集合中已存在名为“swagger_docsswagger/docs/{apiVersion}”的路由。路由名称必须唯一
    h5 web vlc 播放rtsp流
    Docker的基础概念与在window10下的安装
    .Net Core JWT 动态设置接口与权限
    .Net Core官方的 JWT 授权验证
    IdentityServer4中文文档
    中介者模式及在NetCore中的使用MediatR来实现
    .Net Core 使用 FluentValidation
  • 原文地址:https://www.cnblogs.com/123-/p/4526546.html
Copyright © 2020-2023  润新知