• 从零自学Hadoop(04):Linux准备下


    阅读目录

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

      我们已经准备好了网络访问,防火墙,Hosts,SSH等设置,下面我们根据上篇中的检查列表处理下剩下的内容,包括yum,时间同步,本地仓库等。

      我们开始吧。

    搭建环境

    一:检查yum,出现了列表就说明已经安装。

    rpm -qa|grep yum

    二:修改yum源

      由于国内网络的情况,所以尽量还是找点国内的镜像,或者比较快的国外镜像。

      目前俺只找到一个源还行(上海交通大学的),不过大家有好的源,还是分享出来吧。

    #进入目录
    cd /etc/yum.repos.d/
    #列表
    ls -al

      在这里我们就修改CentOS-Base.repo就可以了。

      将原来的注释掉,然后加入baseurl=http://ftp.sjtu.edu.cn/centos/$releasever/os/$basearch/

    vim CentOS-Base.repo

    三:H30时间服务器安装

      这里需要安装时间服务器,其他的服务器通过这个来进行多机器时间的同步。

    yum install ntp

      配置ntp.conf

    vim /etc/ntp.conf

      将H30的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务。

    server 127.127.1.0
    fudge 127.127.1.0 stratum 10

      如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server。

    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst

      [restrict]参数设定方式:
      restrict [address] mask [netmask_ip] [parameter]
      其中parameter的参数主要有:
        ignore        :    拒绝所有类型的ntp连接
        nomodify    :    客户端不能使用ntpc与ntpq两支程式来修改服务器的时间参数
        noquery        :    客户端不能使用ntpq、ntpc等指令来查询服务器时间,等于不提供ntp的网络校时
        notrap        :    不提供trap这个远程时间登录的功能
        notrust        :    拒绝没有认证的客户端
        nopeer        :    不与其他同一层的ntp服务器进行时间同步

    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

      这一行的含义是授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间。这里的配置涉及到了一些网络知识。 对于第一个参数[address] 它可能是一个IP,也可能是一个网段,这取决于后面给出的子网掩码。如果这里的子网掩码是255.255.255.255,那么配置就变成了只授权给IP是192.168.1.0的那一台机器连接!但是这里子网掩码是255.255.255.0,则此时的192.168.1.0就是一个网络标识了!它代表的是这样一个网段:192.168.1这个网段了。

      启动ntp服务

    #启动
    service ntpd start
    #开机启动
    chkconfig ntpd on
    #状态
    service ntpd status

    四:其他客户机配置

      安装

      修改ntp.conf

      手动同步时间

      这里暂时不要开ntpd服务,开了就不能手动同步了,因为使用同一个端口。

    ntpdate 192.168.1.30

    这里出一个思考题,学习得举一反三,掌握基本的原理,其他的只是组合搭配了。

      ntpdate H30 行不行得通。

    注:这里可以使用-u这样,就不用停止ntpd服务。就可以同步时间。

    ntpdate -u 192.168.1.30

      然后,我们开启服务

    #开启服务
    service ntpd start
    #开机启动
    chkconfig ntpd on

      检查状态

    ntpstat
    
    ntpq -p

      这两个命令都可以查看是否与H30同步了。

    watch ntpq -p

       这样,我们的时间同步就做到位了。

    五:H30搭建本地仓库

      那些库文件都不小,而且从yum上下,很多都不稳定,下的你开始怀疑自己的智商,所以,作为生产环境,我们还是辛苦点,一部到位,做个属于我们自己的本地仓库。

      本篇下面的内容均是介绍本地仓库的搭建。这次我们搭建的是基于html的本地仓库。

    六:安装httpd服务

      httpd是Apache超文本传输协议(HTTP)服务器的主程序。被设计为一个独立运行的后台进程,它会建立一个处理请求的子进程或线程的池。

    yum install httpd
    service httpd start
    chkconfig httpd on

      我们打开浏览器,输入192.168.1.30

      这样说明httpd服务正常运行。

    七:安装createrepo

    yum install createrepo

    八:安装yum-utils

    yum install yum-utils

    九:拷贝资源文件

      通过Xftp4将文件copy到/var/www/html/hdp目录,如果没有该目录,创建。

    cd /var/www/html
    ls -al
    #创建hdp目录
    mkdir hdp

      开始Copy,这里使用的都是最新的hdp和ambari,大家是不是开始激动了。

      这里主要是HDP-2.3.0.0-centos6-rpm.tar和HDP-UTILS-1.1.0.20-centos6.tar要拷贝进来,剧透下,后面我们使用ambari安装的时候,需要这两个库。

    十:解压缩文件

    tar zxvf HDP-2.3.0.0-centos6-rpm.tar.gz 
    
    tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz

      我们可以明显的看到多了两个绿色的目录。

    十一:创建基于html的创建源

      在html的目录下,执行

    createrepo hdp

      执行完成后,我们可以看到hdp目录会多一个repodata的新目录。

    -------------------------------------------------------------------------------

      到此,我们这部分内容暂时落幕,剩下的本地库的留到下一章节补充完善。

     

    系列索引

      【源】从零自学Hadoop系列索引

     

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

  • 相关阅读:
    软件项目管理实践之日计划
    VB.NET版机房收费系统—数据库设计
    图的邻接矩阵存储结构
    Java多态特性:重载和覆写的比較
    《实体解析与信息质量》
    cocos2d-x lua 中使用protobuf并对http进行处理
    Memcached 笔记与总结(2)编译 php-memcache 扩展
    大数据的时代意义
    大数据的时代意义
    SPSS输出结果统计表与统计图的专业性编辑及三线表定制格式
  • 原文地址:https://www.cnblogs.com/mephisto/p/4843948.html
Copyright © 2020-2023  润新知