• CDH6.3.0


    一、安装之前

       Cloudera管理器的存储空间规划

      ClouderaManager跟踪许多后台流程中的服务、作业和应用程序的指标。所有这些指标都需要存储。根据组织的大小,此存储可以是本地的或远程的,基于磁盘的,也可以是数据库中的,由您或其他团队在另一个位置管理。

      大多数系统管理员都知道常见的位置,如/var/log/这些地点需要有足够的空间。本主题帮助您规划Cloudera Manager Server和Cloudera Management Service用于存储度量和数据的存储需求和数据存储位置。

      未能规划Cloudera Manager Server和Cloudera管理服务的所有组件的存储需求,会以下列方式对集群产生负面影响:

    • 集群可能无法保留历史操作数据以满足内部需求。
    • 集群可能漏掉未收集或保留所需时间的关键审计信息。
    • 管理员可能无法研究过去的事件或健康状况。
    • 管理员可能在以后需要引用或报告历史 MR1、YARN或Impala使用数据时没有这些数据。
    • 在度量收集和图表方面可能存在空白。
    • 由于将存储位置填充到100%的容量,群集可能会出现数据丢失。这种事件的影响可能会影响到许多其他组成部分。

     配置网络名称

      首先,CDH需要IPv 4,不支持IPv 6。

      1、将主机名设置为唯一名称,不是localhost

    sudo hostnamectl set-hostname foo-1.example.com

      2、编辑/etc/hosts具有集群中每个主机的IP地址和完全限定域名(FQDN)。您也可以添加非限定名。

    1.1.1.1  foo-1.example.com  foo-1 
    2.2.2.2 foo-2.example.com foo-2
    3.3.3.3 foo-3.example.com foo-3
    4.4.4.4 foo-4.example.com foo-4

            注意:

    •  每个主机的规范名称。/etc/hosts 必是FQDN(例如myhost-1.example.com),而不是不合格的主机名(例如myhost-1)。
    • 不要使用别名,也不要在/etc/hosts或者配置DNS。
    • 在ClouderaManager实例中,非限定主机名(短名称)必须是唯一的。例如host01.example.com和host01.Standby.example.com由同一个             ClouderaManagerServer管理。

          3、编辑/etc/sysconfig/Network仅用于此主机的FQDN:

    HOSTNAME=foo-1.example.com

      4、验证每个主机是否一致地标识到网络:

    •  运行uname -a并检查主机名是否与主机名命令相同。
    • 运行/sbin/ifconfig并注意到inet addr在eth0(或bond0)条目,例如:
    eth0      Link encap:Ethernet  HWaddr 00:0C:29:A4:E8:97             
    inet addr:172.29.82.176 Bcast:172.29.87.255 Mask:255.255.248.0
    ...
    • 运行host -v -t A $(hostname)并验证输出是否与主机名命令相同。 IP地址应与ifconfig为eth0(或bond0):
    Trying "foo-1.example.com"
    ...
    ;; ANSWER SECTION:
    foo-1.example.com. 60 IN
    A
    172.29.82.176

     禁用防火墙

       若要在群集中的每个主机上禁用防火墙,请在每个主机上执行以下步骤:

      1、为iptables,保存现有规则集:

    sudo iptables-save > ~/firewall.rules

      2、禁用防火墙(RHEL 7兼容):

    sudo systemctl disable firewalld
    sudo systemctl stop firewalld

         设置SELinux模式

       安全增强的linux(SELinux)允许您通过策略设置访问控制。如果您在使用策略部署CDH时遇到问题,请在每个主机上设置SELinux,然后在集群上部署CDH。  若要设置SELinux模式,请在每个主机上执行以下步骤:

      1、检查SELinux状态:

    getenforce

      2、如果输出是Permissive 或者 Disabled,您可以跳过此任务并继续执行禁用防火墙..如果输出是(enforcing)强制执行,继续下一步。

      3、打开/etc/selinux/config文件(在某些系统中,/etc/sysconfig/selinux文件)。

      4、将SELINUX=enforcing改为SELINUX=permissive.

      5、保存并关闭文件。

      6、重新启动系统或运行以下命令立即禁用SELinux:

    setenforce 0

      安装和部署cdh之后,可以通过更改SELINUX=permissive回到SELINUX=enforcing  。在……里面/etc/selinux/config(或/etc/sysconfig/selinux),然后运行以下命令立即切换到强制执行模式:

    setenforce 1

         启用NTP服务

        CDH要求您配置网络时间协议(NTP)集群中每台机器上的服务。大多数操作系统包括ntpd用于时间同步的服务。使用ntpd对于时间同步:

      1、安装NTP

    yum install ntp

      2、编辑/etc/ntp.conf文件以添加NTP服务器,如下面的示例所示。

    server 0.pool.ntp.org 
    server 1.pool.ntp.org 
    server 2.pool.ntp.org

      3、启动ntpd服务(RHEL 7兼容):

    sudo systemctl start ntpd

      4、配置ntpd在引导时运行的服务(RHEL 7兼容):

    sudo systemctl enable ntpd

      5、将系统时钟同步到NTP服务器:

    ntpdate -u <ntp_server>

      6、将硬件时钟与系统时钟同步:

    hwclock --systohc

        在Hue主机上安装Python2.7(RHEL 6版本安装)

      这里以CentOS 6.x为例,如下操作:

      1、启用软件收藏库:

    sudo yum install centos-release-scl

      2、安装软件集合实用程序:

    sudo yum install scl-utils

      3、安装Python 2.7:

    sudo yum install python27

      4、验证是否安装了Python2.7:

    source /opt/rh/python27/enable
    python --version

      Impala Requirements(略)

      基于包的cdh安装所需的特权(略)

      

  • 相关阅读:
    conrtex 和 ARM 的关系
    C语言中的内存分配深入
    钳位电路
    向量中断与非向量中断的区别
    Freescale PowerPC处理器优势
    路由器端口映射,远程桌面连接端口映射+花生壳=让人访问你个人服务器或WEB站点
    linux 下用G++编译C++
    Javascript基础知识篇(1): 初识Javascript
    Javascript实战应用篇(3):动态加载JS和CSS文件
    Javascript高级技术篇(1):搭建JS框架类库
  • 原文地址:https://www.cnblogs.com/Raodi/p/11603773.html
Copyright © 2020-2023  润新知