• Hadoop完全分布式搭建流程


       

    centos7 搭建完全分布式 Hadoop 环境  SSR

    前言
      本次教程是以先创建 四台虚拟机 为基础,再配置好一台虚拟机的情况下,直接复制文件到另外的虚拟机中(这样做大大简化了安装流程)
      且本次教程的jdk 和 hadoop 文件目录 均在 /root/apps(当然也可以根据个人情况进行选择

    一,搭建前的基础准备(什么的搭建都得有基础设施)

     要求 =>

      1. 四台虚拟机 centos7(尽量都使用 centos7)
      2. 准备好 jdk 和 hadoop 文件
      3. 下好 xshell6 和 Xtfp 软件

      1.1 VM15的安装

       补充:如果之前下载有VM15以下版本,直接安装VM15覆盖即可。。不需要卸载原先版本

      1.2 centos7的下载

     

       1.3 xshell6 和 Xtfp 软件的下载(官网免费版)

       补充:可以免费下载

      1.4 在 VM中新建虚拟机 centos7 (转载老师发的文件,已经很详细了)

    二、软件、虚拟机准备好 后的准备工作

      目前,xshell6、xftp、vm15、虚拟机均已经安装成功,并且,虚拟机打开

    1 ping www.baidu.com 
     发现也能 ping 成功、并且已经将 4 台虚拟机的 每个 ip信息均已记下,那么进行接下来的操作8

      2.1 xshell6的连接

     

     

     

       连接成功示例=-=

      2.2 静态ip的配置(理论上可以不用,但是防微杜渐,说不定哪天打开ip变动了,又要弄,麻烦了就,这里采用 四台机器同时操作的方法,利用xshell6)

    -----------------------------------------------------------------------------------------------------------------------------------

    补充:四机同操

      首先,全部连接后是这样
      然后右击上图蓝色框框,然后选择排列(A),再选择垂直排列,于是成了下面这样
      接下来,进行同时对四台进行输入操作
      这里可关,可开,非常方便,好比如果开 hadoop的时候,就将 hadop 主机的同操 OFF掉就可以
    了 =-=

    ------------------------------------------------------------------------------------------------------------------------------------

     接下来进行 静态IP的配置(才入主题)

    1 vi /etc/sysconfig/network-scripts/ifcfg-ens33

       修改其中的配置如下

     1 TYPE="Ethernet"
     2 PROXY_METHOD="none"
     3 BROWSER_ONLY="no"
     4 BOOTPROTO="static" # 原先是 dhcp 现在改为 static
     5 DEFROUTE="yes"
     6 IPV4_FAILURE_FATAL="no"
     7 IPV6INIT="yes"
     8 IPV6_AUTOCONF="yes"
     9 IPV6_DEFROUTE="yes"
    10 IPV6_FAILURE_FATAL="no"
    11 IPV6_ADDR_GEN_MODE="stable-privacy"
    12 NAME="ens33"
    13 UUID="28c79750-7e98-4606-b893-f75f8aa4ac50"
    14 DEVICE="ens33"
    15 # 下面四行为增加内容,对应 ip 掩码 网关 DNS 前面记录的ip信息一一对应即可
    16 IPADDR=192.168.136.xxx
    17 NETMASK=255.255.255.0
    18 GATEWAY=192.168.xxx.x
    19 DNS1=192.168.xxx.x
    20 ONBOOT="yes"
    View Code

      然后 Esc  再 : 再 wq 保存 退出

    ----------------------------------------------------------------------------------------------------------------------------------

    补充: vi 的基本使用方法

      vi 文件名.后缀 可以进去一个文件的编辑页面,默认为只读

      然后 i 一下,就进去了 INSERT 模式,可以进行文件内容的编辑
      再 ESC 一下,就又进去了只读模式。  
      那么 如何退出呢,三种方法
      :wq     保存退出
      :q        不保存退出
      :q!       不保存强制退出 (面对前一种无法退出的情况下的一种方法)
    --------------------------------------------------------------------------------------------------------------------------------
      接下来,进行网络服务的更新(依据教程为 重启,个人觉得麻烦了点)
    1 service network restart

     

     2.2 配置主机名

       在四台虚拟机上编辑hosts文件vi /etc/hosts
       在hosts文件中增加以下内容(以下 ip 和 名 均为 你自己的 ip 和 主机名)
    1 · 192.168.100.129 hadop
    2 · 192.168.100.130 hadop1
    3 · 192.168.100.131 hadop2
    4 · 192.168.100.132 hadop3

       同时修改Windows系统的host文件(C:WindowsSystem32driversetc)

     --------------------------------------------------------------------------------------------------------------------------------

    补充:如何修改centos7的主机名

    vi /etc/hostname

      进去后将里面的 名字 改成想改的就行,上面ip后接的名字 就是这里的主机名

     hostnamectl set-hostname

      永久保存

     

      判断是否生效,看这里即可

      --------------------------------------------------------------------------------------------------------------------------------

     后续待补

  • 相关阅读:
    异常处理、网络编程
    内置函数、反射、__str__、__del__、元类
    tomcat 拒绝服务
    html标签
    google 与服务器搭建
    liunx centox ssh 配置
    java 泛型
    Windows Mysql安装
    java 空对象
    java 动态代理(类型信息)
  • 原文地址:https://www.cnblogs.com/xmdykf/p/11466328.html
Copyright © 2020-2023  润新知