• 1.Hadoop集群搭建之Linux主机环境准备


    Hadoop集群搭建之Linux主机环境

    创建虚拟机包含1个主节点master,2个从节点slave1,slave2

    • 虚拟机网络连接模式为host-only(非虚拟机环境可跳过)
    • 集群规划如下表:

      主机名 | IP | 子网掩码 | 安装的软件
      ---|---|----|-----
      master | 192.168.1.201 | 255.255.255.0 | jdk、hadoop、zookeeper
      slave1| 192.168.1.202 | 255.255.255.0 | jdk、hadoop、zookeeper
      slave2| 192.168.1.203 | 255.255.255.0 | jdk、hadoop、zookeeper

    • 让普通用户具备sudo权限

    切换到root,之后 在/etc/sudoers文件中加入一行

    root ALL=(ALL) ALL
    hadoop ALL=(ALL) ALL

    • 命令行界面运行级别为3,图形界面运行级别为5(关闭图形界面可以节省开销)
     init 3  ##开启命令行界面,需要root权限
     init 5  ##开启图形界面
     startx  ##在命令行界面开启图形界面
    

    修改开机默认启动运行级别需要修改文件

     vi /etc/inittab
     ###将 id:5:initdefault: 这一行中的5修改为需要的运行级别
    
    
    • 配置虚拟网卡(非虚拟机环境可跳过)

    点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok

    回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.1.100 子网掩码:255.255.255.0 -> 点击确定

    在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok

    • 修改主机名
    vim /etc/sysconfig/network
    
    ##修改为
    NETWORKING=yes
    HOSTNAME=master
    
    

    注:配置文件生效必须使用sudo hostname master(使用该命令后配置已经生效,但需要重新登录才能看见效果)或者重启服务器(reboot)

    • 修改IP

    利用图形界面进行修改

    进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.201 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply

    利用命令行修改配置文件

    vim /etc/sysconfig/network-scripts/ifcfg-eth0

    		DEVICE="eth0"
    		BOOTPROTO="static"               ###
    		HWADDR="00:0C:29:3C:BF:E7"
    		IPV6INIT="yes"
    		NM_CONTROLLED="yes"
    		ONBOOT="yes"
    		TYPE="Ethernet"
    		UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
    		IPADDR="192.168.1.201"           ###IP地址
    		NETMASK="255.255.255.0"          ###子网掩码
    		GATEWAY="192.168.1.1"            ###网关
    

    ###的为需要修改的项目,如果找不到ifcfg-eth0文件,请参考博客centos 中没有 ifcfg-eth0 配置文件的解决办法

    注:配置文件生效必须重启network服务(sudo service network restart)或者重启Linux服务器(reboot

    • 修改主机名和ip的映射关系(方便以后直接通过主机名来访问,而不需要记忆IP地址)
    sudo vim /etc/hosts
    ###直接追加
    192.168.1.201	master
    
    

    测试:通过ping master结果查看是否修改成功;Windows系统通过修改C盘-->Windows-->System32-->drivers-->etc目录下hosts文件.

    • 关闭防火墙
            #查看防火墙状态
    		sudo service iptables status
    		#关闭防火墙
    		sudo service iptables stop
    		#查看防火墙开机启动状态
    		sudo chkconfig iptables --list
    		#关闭防火墙开机启动
    		sudo chkconfig iptables off
    

    注:重启Linux系统生效


    至此,master主机环境已经准备完毕。salve1和slave2环境准备同理。

  • 相关阅读:
    汽车行业如何利用大数据
    汽车行业如何利用大数据
    Linux下Gcc 的编译过程
    第一个GraphX程序
    VC++ 模拟"CLICK事件"关闭指定窗体
    基于Canvas的Char.js库使用
    VELT-0.1.6开发:载入根文件系统
    HDU 5411 CRB and puzzle (Dp + 矩阵高速幂)
    JavaScript图片裁剪
    C++ string中的几个小陷阱,你掉进过吗?
  • 原文地址:https://www.cnblogs.com/liminghuang/p/9074312.html
Copyright © 2020-2023  润新知