• Hadoop2.x伪分模式部署

          hadoop伪分布模式，只有一个节点，通常用来做测试。

    一、环境准备

  • Linux网络配置已完成，可参见CentOS7网络配置；
  • yum源成功挂载,可参见CentOS7本地yum源挂载；
  • Linux已安装OracleJDK1.8+，可参见OracleJDK1.8安装；
  • zookeeper-3.4.6.tar.gz安装包,hadoop安装包下载；

    • 二、创建Hadoop用户(以后有关集群的操作都只用此用户)；

  • su 到root用户下，并创建用户；
    V(VB[A4{A83V9LGSKE7S(2P

    • 三、配置SSH互相(免密登录)；

  • 生成SSH密钥对(公钥/私钥)，在Hadoop用户下；
    JLZW4]4DIQ9L0JA[OCX5R{O
  • 进入ssh目录；
    3AZJ@STXE[%V0K5NFTTN`BD
  • 测试ssh 主机名；
    6QAQAO3KDBMF@%8O16)@~44

    • 四、解压Hadoop安装包；

  • 在Hadoop用户家目录下创建安装目录；
    UP3Y{1~WZ_G(W}9Q3{G9P@I
  • 解压Hadoop安装包(可用xshell等工具将安装包上传到Linux);
    [UBFP{]V$UQ{2UBK_[6D}X3

    • 五、修改配置文件；

    1. 修改hadoop-env.sh,配置jdk位置;
      )9KRNZRC1PKSXD}JS2})0LL

      2. Z2L2UOA(Z2WF0E]E5WB5ENQ

    2. 修改core-site.xml;
      00W1%5)RWY8J3C4E{@7])AH

      3. ~[AJ]%6UPM(Y$UZ6NS39CVB

      <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
    <!—- hadoop01:主机名,9000:端口 -->
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/data/hadoop/tmp</value>
</property>
    3. hdfs-site.xml配置；
      10)[T557AYS6UG3WRDA5WHI

      4. EZ5K7UG_E@@G(7V~4GW3BCE

      <property>
      <!-- 数据冗余一份 -->
      <name>dfs.replication</name>
      <value>1</value>
</property>
    4. 配置Mapreduce调用方式；
      4}C8]LA2S2]HA({I@3[0O00

      5. 7882F[D2%QZX%(0@XJI%WLP

      <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
</property>
    5. yarn有关的配置；
      TR_V6N_YS3]I[S(8O4VVDSY

      6. L7IVPQ_T58$476_MLFNIW{7

      <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>hadoop01</value>
      <!—hadoop01:主机名 -->
</property>

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>

    六、创建Hadoop数据目录(su到root用户下)；

    1. su – root

      2. }VNGM`UE7HOX6]AERBAF4CW

    七、配置系统环境变量；

    1. 在root用户下修改环境变量，并使生效；
      SN0RKLUO)0L2`X9]IXF0144

      2. )696N(_F]NUQ$CYIW]XIUHP

    八、格式化namenode节点(注意：只能格式化一次);

    1. 在hodoop用户下，格式化namenode(执行一次命令即可)；
      DURA4H%J}TOC]D{JKE{3{)0

      2. OR(Q}D`@20R8VE`JCAFS~GY

    九、启动集群；

    1. 使用hadoop用户启动集群；
      A(QT{]TAXC~D[Z0OVR_S]NE

    十、验证集群是否部署成功；

    1. 从Windows访问HDFS页面；
      1469176-20190327010430989-85523107
    2. 从Windows访问yarn页面；
      1469176-20190327010432348-277668470

      3. 能出来以上界面，表明伪分布模式部署成功；

    3. 停止集集群：
      Y%XIR3YVQ6IVDSQ0~Z8N4)Q




  • 相关阅读:
    Linux下编译安装redis
    docker搭建swoole的简易的聊天室
    Linux下面安装swoole
    laravel命令
    史上最污技术解读，60 个 IT 术语我竟然秒懂了.....
    redis集群搭建
    Windows安装MongoDB
    十大经典排序算法（动图演示）
    消息中间件基础
    laravel邮件发送
  • 原文地址：https://www.cnblogs.com/luomeng/p/10604960.html
    • Copyright © 2020-2023  润新知