• CDH版本升级


      近期项目中需要用oozie workflow调度hivesql,发现无法执行查询语句,见:https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-Hive-action-failed-with-wrong-tmp-path/td-p/37443  由此得知,罪魁祸首是cdh的bug,需要将版本升级一下。

      升级步骤:

    1、在一个节点上查询服务

    service --status-all

    发现只有cloudera-scm-agent,没有cloudera-scm-server,说明这不是主节点。

    2、查看cloudera的主节点

    cat /etc/cloudera-scm-agent/config.ini

    查找server_host的值,这就是服务端安装的主节点,在主节点上登录。

    3、查看CM依赖的数据库

    cat /etc/cloudera-scm-server/db.properties

    4、备份CM数据

    pg_dump -U scm -p 7432   > scm_server_db_backup.bak

    其中scm是依赖的数据库名,密码见第3步中的结果。检查/tmp下是否有文件生成,期间保证tmp下文件不要被删除。

    5、停止CM server :

    sudo service cloudera-scm-server stop

    停止CM server依赖的数据库:

    sudo service cloudera-scm-server-db stop

    如果这台CM server上有agent在运行也停止:

    sudo service cloudera-scm-agent stop

    其中,cloudera-scm-server-db服务停止失败,查询服务状态发现如下:

    pg_ctl: server is running (PID: 1713)
    /usr/bin/postgres "-D" "/var/lib/cloudera-scm-server-db/data"

    cd /var/lib/cloudera-scm-server-db/data
    rm postmaster.pid

    http://blog.puneethabm.in/cloudera-scm-server-db-pg_ctl-server-does-not-shut-down/

    6、查看yum的 cloudera-manager.repo文件需不需要修改

    sudo vim /etc/yum.repos.d/cloudera-manager.repo

    发现cloudera-manager版本较新,不需要升级cloudera-manager

    7、升级

      sudo    yum clean all 
      sudo yum upgrade 'cloudera-*'

    检查:

    rpm  -qa 'cloudera-manager-*'

    8、启动CM server 数据库:

    sudo  service cloudera-scm-server-db start

    启动失败!!

    ps -l -ef | grep bin/postgres

    查看DB进程,发现存在cloudera-scm-server-db的进程

    #kill -9 [pid]

    杀掉再启动服务,OK

    启动CM server:

    sudo  service cloudera-scm-server start

    启动CM agent:

    sudo  service cloudera-scm-agent start

    最后,重新用oozie调hive,执行成功 !!

    参考:

    http://www.tuicool.com/articles/YVnu6v

    http://www.aboutyun.com/thread-10856-1-1.html

  • 相关阅读:
    在放置不同图片尺寸时,应该选择合适的放置
    在腾讯开发应用中心上架apk所遇到的问题
    仿慕课网下拉加载动画
    android 视频的缩略图 缓存机制和 异步加载缩略图
    在做Android开发的,如何去掉滚动view在尽头时的阴影效果
    java中常见的模式之自定义观察者和java库中观察者
    在JAVA和android中常用的单列模式
    android 代码控制控件的长宽,小技巧
    IFrame 框架的用法简介
    PHP中RabbitMQ之amqp扩展实现(四)
  • 原文地址:https://www.cnblogs.com/superJF/p/5627683.html
Copyright © 2020-2023  润新知