• 环境搭建-CentOS集群搭建


    环境搭建-CentOS集群搭建

    写在前面
    最近有许多小伙伴问我,大数据的hadoop分布式集群该如何去搭建。所以,想着,就写一篇博客,帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤,很详细的。你很快就会有一个自己的hadoop集群啦。

    我是在自己的windows机器上使用virtualBox来虚拟三台机器,作为实验的环境。

    实验环境
    Windows 宿主机:Windows 10 (其余也是可以的)
    VirtualBox 版本:VirtualBox 5.1.22
    CentOS 版本:CentOS 6.9
    Xshell 版本:Xshell 5

    可能许多的小伙伴,会因为找软件比较麻烦。我这里直接分享在了我的百度云的链接,方便大家下载:
    链接:http://pan.baidu.com/s/1c24gbUK 密码:8h1r

    接下来,我们就开始创建虚拟机

    使用VirtualBox创建虚拟机

    使用VirtualBox创建三台CentOS作为项目实验集群。

    跟着下面的步骤就好:

    打开virtualBox软件,我们new一个:

    这里写图片描述

    这里写图片描述

    这里写图片描述

    接下来,我们点击设置按钮

    设置我们的存储,把我们的镜像添加进去

    这里写图片描述

    设置我们的网络连接(很重要)

    这里写图片描述

    上面的设置完成之后,我们就可以开启,开始安装centos了

    这里写图片描述

    这里写图片描述

    接下来的两项默认就好,这里需要注意一下

    这里写图片描述

    设置时区为亚洲,上海

    这里写图片描述

    设置密码,我这里为了方便,直接设置为123456
    这里写图片描述

    由于密码安全太低,这里选择不管如何都使用就好

    这里写图片描述

    磁盘分区,默认就好

    这里写图片描述

    这里写图片描述

    等待它自己安装,这个时候,你也可以按照这个步骤再去新建两台机器

    会出现reboot的按钮,重启就好

    重启之后,我们输入账号密码,进入:
    这里写图片描述

    一开始是没有ip的,是需要我们设置的,

    设置IP

    设置 网卡onboot=yes即可,自动获取

    [root@localhost ~]# cd /etc/sysconfig/network-scripts/
    [root@localhost network-scripts]# 
    [root@localhost network-scripts]# vi ifcfg-eth0 
    DEVICE=eth0
    HWADDR=08:00:27:72:EC:EE
    TYPE=Ethernet
    UUID=6b262313-ddd5-4a97-bb75-771ea5621f91
    ONBOOT=yes
    NM_CONTROLLED=yes
    BOOTPROTO=dhcp
    #:wq 保存退出

    重新启动网络

    [root@localhost network-scripts]# service network restart
    

    这里写图片描述

    测试,去ping百度:
    这里写图片描述

    到这里我们的centos就安装好了,说明一下,网络一定要连通,不然,后面,会比较麻烦。
    依据,这个操作,我们再重新新建两台机器。

    使用Xshell连接我们的服务器

    xshell这个软件还是很好用得,

    新建连接

    这里写图片描述

    接下来,就是输入用户和密码,输入就好。
    这里把下面的框选上,这样以后就不用输账号密码了

    这里写图片描述

    上面就表示登录成功了

    安装常用软件

    下面安装lrzsz这个软件,是用来传输文件的,比较实用的一个软件,当然,你也可以选择自己的方式

    [root@localhost ~]# yum -y install lrzsz
    ....
    
    Installed:
      lrzsz.x86_64 0:0.12.20-27.1.el6                                                       
    
    Complete!
    

    好啦,到这里我们就安装好了

    安装JDK环境

    在开始安装之前,
    我们先新建一个目录,这样比较规范,这个看个人习惯就好

    [root@localhost ~]# 
    [root@localhost ~]# mkdir app
    [root@localhost ~]# mkdir softwares
    [root@localhost ~]# 
    [root@localhost ~]# mkdir lib
    [root@localhost ~]# 
    [root@localhost ~]# mkdir data
    [root@localhost ~]# 
    #app软件安装的目录
    #softwares软件的存放目录
    #lib架包的存放目录
    #data测试的数据存放目录
    

    接下来,我们把jdk文件上传到我们的服务器,
    使用rz命令

    这里写图片描述

    上传完毕之后,就开始解压到app目录下

    [root@localhost softwares]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C ../app/
    

    解压完毕之后,就可以配置环境变量

    [root@localhost ~]# vim ~/.bash_profile 
    # .bash_profile
    
    # Get the aliases and functions
    if [ -f ~/.bashrc ]; then
            . ~/.bashrc
    fi
    
    export JAVA_HOME=/root/app/jdk1.8.0_144
    export PATH=$JAVA_HOME/bin:$PATH
    

    再source一下,使得我我们的环境变量生效,

    [root@localhost ~]# source ~/.bash_profile
    [root@localhost ~]# 
    [root@localhost ~]# java -version
    java version "1.8.0_144"
    Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
    Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
    [root@localhost ~]# 
    

    到这里,我们就安装好了我们的JDK环境

    至于,另外的两台,我们可以先不用配置,后面,我们可以直接scp过去。
    补充说明一下,有的小伙伴可能会发现,我创建过程中的名称为hadoop004,这是因为,我之前做hadoop000的时候,做好了,忘记保存了,就丢失了,这是我补充的。码字不易,不洗勿喷。

    到这里,我最终配置好的centos集群是:
    hadoop000 192.168.1.61
    hadoop001 192.168.1.62
    hadoop002 192.168.1.63
    ,接下来,就可以开始Hadoop集群的搭建了,后面的地址是:
    http://blog.csdn.net/liuge36/article/details/78613910

  • 相关阅读:
    成为JAVA(高级)工程师
    JVM的内存区域划分以及垃圾回收机制
    XML
    String.valueOf
    JAVA书籍(2)
    JAVA书籍(1)
    深入JAVA线程池
    FileWriter与BufferedWriter
    获取下拉框的文本或值
    删除字符串最后一个字符的几种方法
  • 原文地址:https://www.cnblogs.com/liuge36/p/12614836.html
Copyright © 2020-2023  润新知