• hadoop伪集群搭建


    操作系统centos8

    1、安装jdk环境

     

     2、安装hadoop3.1.3和配置环境

    链接:https://pan.baidu.com/s/1Hbo39A1-GagIkqtJByenpA
    提取码:8epv

     

     3、准备一个hadoop用户

    创建自定义组(组在用户之前创建)hadoop

     查看组信息:

     创建自定义的用户名hadoop,并设置登录密码

     查看用户名信息

     

     4、给刚创建的用户赋root权限

    先修改sudoers配置文件权限

     赋640权限

    修改配置文件,改完之后将权限恢复为440

     5、用root账号修改hostname

     永久修改Hostname

     

     6、配置映射

    vim /etc/hosts

    前面是你服务器的Ip

     7、配置ssh(自己免密登录自己)hdfs环境必须

     这里ssh登录自己需要输入密码

    yum install openssh-server -y

    查看sshd状态

    生成公钥和私钥对,通过rsa非对称加密,-C是注释 (这里其实应该在hadoop用户下操作)

     将公钥发送给需要免密登录的服务器,这里是本机

     测试

     8、为了方便后面hadoop用非root用户hadoop安装,将hadoop安装路径赋权限,修改用户。

     

    9、修改hadoop配置

    1)修改hadoop-env.sh文件

    这款里配置jdk和hadoop配置文件绝对路径,防止多个jdk或者hadoop路径找不到

     

     2)修改core-site.xml文件

    创建tmp存放hadoop产生的文件

     3)修改hdfs-site.xml文件

     4)修改mapred-site.xml

     5)修改yarn-site.xml ()

     6)修改workers内容(配置从节点的主机名或ip地址)

    改为hadoop

    10、启动hadoop

    1)初始化namenode

     

     2)启动Hdfs(这里用hadoop这个用户启动)

    这里可能出现的错误:可能hadoop的执行文件的权限不够,也可能hadoop不是用非root用户启动,还可能ssh非对称加密没有在hadoop用户下生成

     3)启动yarn

     11、检测启动的hdfs和yarn(这里服务器需要开放端口)

    11637   resourcemanager

    11734   ndoemanager

    11241  datanode

    11146  namenode

    12075  jps

    11436  secondarynamenode

  • 相关阅读:
    SpringBoot整合jsp
    SpringBoot常用application.properties配置
    SpringBoot入门
    vue cli创建vue项目
    vue 指令
    vue hello
    pytest doc
    atom
    java csvutil
    Django uuidfield 实现自动生成唯一列,并设置为主键
  • 原文地址:https://www.cnblogs.com/su-ke/p/15260835.html
Copyright © 2020-2023  润新知