• Linux安装CDH


    1.准备条件

       环境准备:java mysql 

       安装包准备: 数据库驱动包 CDH安装包 CDH插件包 

       (用到的的是tar包)

     (没有CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.torrent)

    mysql-connector-java-5.1.38-bin.jar  这个是需要把它放到/usr/share/java/ 这个目录中 且将其修改为mysql-connector-java.jar 否则报错:

    CDH Mysql数据库 JDBC driver cannot be found.

    Cloudera Manager Server&Agent 安装

    (1) 安装 Cloudera Manager Server&Agent
    拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
    创建 cm 目录:mkdir /opt/cloudera-manager
    解压 cm 压缩包:tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
    (2) 创建用户 cloudera-scm (所有节点)
    cloudera-scm 用户说明,摘自官网:
    Cloudera Manager Server and managed services are configured to use the user account
    cloudera-scm by default, creating a user with this name is the simplest approach. This created
    user, is used automatically after installation is complete.
    执行:useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --

    no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

    (3)配置 CM Agent

    修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port

    (4)配置 CM Server  的 数据库
    将驱动包拷贝到目录下( 注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错 ):
    cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-
    connector-java.jar
    执行:
    mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
    cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
    ./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host
    myhost2.sf.cloudera.com scm scm scm
    例如:./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm

    (对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….)

    mysql> drop user 'temp'@'%';
    若上步失败或过程中操作中断,删除所有库、重头来过 /( ㄒ o ㄒ )/~~
    若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库,例如:
    create database ooziecm DEFAULT CHARACTER SET utf8;
    grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';

    其他的建库及删库脚本见步骤五

    (5)创建 Parcel  目录
    Manager  节点创建目录/opt/cloudera/parcel-repo,执行:mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
    将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-
    el6.parcel.sha、manifest.json)拷贝到该目录下。
    Agent  节点创建目录/opt/cloudera/parcels,执行:mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
    (6)启动 CM Manager&Agent  服务
    执行:Manager:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
    Agents:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
    访问:http://ManagerHost:7180,若可以访问(用户名、密码:admin),则安装成功。
    Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

    CDH5 5  安装

    CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。

    免费版本的 CM5 已经去除 50 个节点数量的限制。

    各个 Agent 节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。

    接下来,出现以下包名,说明本地 Parcel 包配置无误,直接点继续就可以了。

    点击,继续, 如果配置本地 Parcel  包无误,那么下图中的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约 10 多分钟吧,取决于内网网速。(若本地 Parcel 有问题,重新检查步骤三、 5 是否配置正确)

    接下来是服务器检查,可能会遇到以下问题:
    Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在
    运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,
    但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受
    到影响:通过 echo 0 > /proc/sys/vm/swappiness 即可解决。

    接下来是选择安装服务:

    测试采用了 Hadoop 默认,实际按工作环境来定咯 ~~
    服务配置,一般情况下保持默认就可以了(Cloudera Manager 会根据机器的配置自动进行

    配置,如果需要特殊调整,自行进行设置就可以了)

    接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

    下面是集群设置的审查页面,我这里都是保持默认配置的:

    终于到安装各个服务的地方了,注意,如果采用其他数据库安装 Hive 等组件的时候报错,检查之前配置 CM Server 数据库时,jar 包拷贝位置及名称是否修改

    服务的安装过程大约半小时内就可以完成:

    安装完成后,就可以进入集群界面看一下集群的当前状况了。这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了

  • 相关阅读:
    selenium-Selense、脚本语法
    selenium常用命令
    百度自动化测试脚本制作
    day2
    day1
    Python核心编程3-正则表达式
    redis
    mysql与系统优化
    mysql之mha高可用及读写分离
    作业一
  • 原文地址:https://www.cnblogs.com/XiaoLaiTongXueA/p/13684135.html
Copyright © 2020-2023  润新知