• hadoop hdfs 分布式存储


    1.克隆前的工作
     1.配置好网络nat  需要设置静态ip并能通过主机上网
     ssh   和  rsync  是必须下载的
     2.yum install vim wget  rsync  ssh   并配置vim set nu set ts=4 .vimrc 
     3.下载jdk和Hadoop 解压到/usr/local/java 和 /usr/local/hadoop
     4.配置java 和 hadoop 的环境变量  .bashrc
     5.修改 /usr/local/hadoop/etc/hadoop/core-site.xml
      <configuration>
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://nodeone:9000</value>
        </property>
      </configuration>
       修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh
        export JAVA_HOME=/usr/local/java
     6.关闭防火墙,并永久关闭防火墙
    2.克隆后的工作
     1.修改每台机器的IP
        vim /etc/sysconfig/network-script/ifcfg-ens33
        hostnamectl set-hostname two
        hostname
        reboot -f
     和hostname 101 nodetwo 102 nodethree 103 nodefour  reboot -f
     2.修改每台机器的 /etc/hosts
    o
      192.168.59.100 one
      192.168.59.101 two
      192.168.59.102 three
      192.168.59.103 four
     
     4.one启动namenode 
     hdfs namenode -format 格式化
    启动hadoop-daemon.sh start namenode
     namenode 其他启动datanode              
     hadoop-daemon.sh start namenode /  其他的启动 datanode

    分屏显示 hdfs dfsadmin -report | more

    分布式管理  查看 192.168.59.122:50070   hdfs dfsadmin -report

    笔记仅适合参考 我用的是xshell5

  • 相关阅读:
    Codeforces Round #363 (Div. 2)
    Codeforces Round #312 (Div. 2)
    Codeforces Round #354 (Div. 2)
    Codeforces Round #353 (Div. 2) A
    Codeforces Round #347 (Div. 2) B
    Codeforces Round #326 (Div. 2)
    Spring中数据库技术--获得DataSource
    查询练习
    查询语句
    Oracle数据库的使用
  • 原文地址:https://www.cnblogs.com/zhuhuibiao/p/9651423.html
Copyright © 2020-2023  润新知