cm升级

收集信息

参考：

https://docs.cloudera.com/documentation/enterprise/upgrade/topics/ug_cm_upgrade_before.html

1. 记录数据库信息

登录到 cm Server 主机运行

cat /etc/cloudera-scm-server/db.properties

...
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=database_hostname:database_port
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=SOME_PASSWORD

记录服务所在主机及相关信息

服务	主机名	数据库名	端口	用户名	密码
Cm
Reports Manager
Navigator Audit Server
Navigator Metadata Server
Activity Monitor

2. 查看版本

在ui界面查看cm、java版本“支持->关于”

3. 记录下实例所属主机

Service Monitor
Host Monitor
Event Server

4. Cloudera Navigator升级准备

1) 配置java堆

确保 Navigator 元数据得到有效升级并且升级后的版本运行良好，请务必检查 Navigator Metadata Server 是否配置了正确数量的 Java 堆

1. 打开 Navigator Metadata Server 的日志文件。默认情况下，日志位于/var/log/cloudera-scm-navigator.
2. 日志中查找solr core nav_elements、solr core nav_relations数量

1. 将元素文档的总数乘以每个文档 200 字节，并添加到 2 GB 的基线：

(num_nav_elements * 200 字节) + 2 GB

2) 记录Cloudera Navigator Metadata Server 存储目录的位置

/cloudera-scm-navigator

备份

1.备份cm Agent

每台安装cm agent 机器都执行以下备份操作:

export CM_BACKUP_DIR="`date +%F`-CM5.11"

echo $CM_BACKUP_DIR

mkdir -p $CM_BACKUP_DIR

#备份代理目录和运行时状态

tar -cf $CM_BACKUP_DIR/cloudera-scm-agent.tar --exclude=*.sock /etc/cloudera-scm-agent /etc/default/cloudera-scm-agent /var/run/cloudera-scm-agent /var/lib/cloudera-scm-agent

#备份现有的存储库目录

tar -cf $CM_BACKUP_DIR/repository.tar /etc/yum.repos.d

可以使用Ansible命令执行：

[ansible@bdp-cm ~]$ ansible cm_agent -b --become-user root --become-method sudo -m shell -a

'mkdir -p /mnt/cm_upgrade/2022-01-06-CM5.12.0'

#备份代理目录和运行时状态

......

2. 备份cm Service

#在安装了Service Monitor 的机器上执行

cp -rp /var/lib/cloudera-service-monitor /var/lib/cloudera-service-monitor-`date +%F`-CM 5.11

#在安装了Host Monitor 的机器上执行

cp -rp /var/lib/cloudera-host-monitor /var/lib/cloudera-host-monitor-`date +%F`-CM5.11

#在安装了Event Server的机器上执行

cp -rp /var/lib/cloudera-scm-eventserver /var/lib/cloudera-scm-eventserver-`date +%F`-CM5.11

3. 备份 Cloudera Navigator数据

1) 确保最近运行了清除任务以清除陈旧和已删除的实体

您可以在 Cloudera Navigator 控制台中查看上次清除任务的运行时间（从 Cloudera Manager 管理控制台，转到Clusters > Cloudera Navigator。选择Administration > Purge Settings。）

如果清除最近没有运行，请通过在同一页面上编辑清除计划来运行它。

设置清除过程选项以清除升级系统所能承受的尽可能多的积压数据。

2) 停止Navigator Metadata Server

1. Go to Clusters > Cloudera Management Service > Instances.
2. Select Navigator Metadata Server.
3. Click Actions for Selected > Stop.

3)备份 Cloudera Navigator Solr 存储目录

cp -rp /var/lib/cloudera-scm-navigator /var/lib/cloudera-scm-navigator-`date +%F`-CM5.11

准备升级 Cloudera Navigator

Cloudera Navigator 作为 Cloudera Manager 升级过程的一部分进行升级。不需要额外的步骤。但是，为了确保 Navigator 元数据得到有效升级并且升级后的版本运行良好，请务必检查 Navigator Metadata Server 是否配置了正确数量的 Java 堆。有关如何确定正确的堆大小以及在必要时更改堆大小的信息，请参阅https://docs.cloudera.com/documentation/enterprise/latest/topics/cn_admcfg_nms_tuning.html#est-java-heap

停止 Cloudera Manager Server 和 Cloudera Management Service

A.停止Cloudera Management Service

B.登录到 Cloudera Manager Server 主机

C.停止Cloudera Manager Server

systemctl stop cloudera-scm-server

4. 备份 cm Databases

A.备份Cloudera Manager server 数据库

mysqldump --databases database_name --host=database_hostname --port=database_port -u user_name -p > $HOME/database_name-backup-`date +%F`-CM5.11.sql

#例

mysqldump --databases scm --host=10.4.105.1 --port=3306 -u scm -p > $HOME/scm-backup-`date +%F`-CM5.11.sql

B.备份所有其他 Cloudera Manager 数据库

Reports Manager

mysqldump --databases rm --host=bdp-cm.yhsys.com --port=3306 -u rm -p > $HOME/rm-backup-`date +%F`-CM5.11.sql

Navigator Audit Server

mysqldump --databases nas --host=bdp-bat-master01.yhsys.com --port=3306 -u nas -p > $HOME/nas-backup-`date +%F`-CM5.11.sql

Navigator Metadata Server

mysqldump --databases nms --host=bdp-bat-master01.yhsys.com --port=3306 -u nms -p > $HOME/nms-backup-`date +%F`-CM5.11.sql

Activity Monitor

mysqldump --databases am --host=bdp-cm.yhsys.com --port=3306 -u am -p > $HOME/am-backup-`date +%F`-CM5.11.sql

Root用户语法

mysqldump -uroot -p 数据库名 > $HOME/数据库-backup-`date +%F`-CM5.11.sql

6.备份 Cloudera Manager Server

#登录到cm server主机

export CM_BACKUP_DIR="`date +%F`-CM5.11"

echo $CM_BACKUP_DIR

mkdir -p $CM_BACKUP_DIR

#备份 Cloudera Manager Server 目录

tar -cf $CM_BACKUP_DIR /cloudera-scm-server.tar /etc/cloudera-scm-server /etc/default/cloudera-scm-server

#备份现有的存储库目录

tar -cf $CM_BACKUP_DIR /repository.tar /etc/yum.repos.d

升级服务器

1.建立cm源

1) 删除现有存储库目录中的cm旧文件

2) 建立新cm源

将下载的cm包放入/var/www/html目录

vim /etc/yum.repos.d/cloudera-manager.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=https://ip/cm5/5
gpgkey=https://ip/cm5/RPM-GPG-KEY-cloudera
gpgcheck=1

2. 升级Cloudera Manager Server

1) 登录cm管理控制台

确保您已禁用任何计划的复制或快照作业，并等待Cloudera Manager 管理控制台中的任何运行命令完成，然后再继续升级。

如果您有任何复制到云目标的 Hive 复制计划，请在继续升级之前删除这些复制集群。您可以在 Cloudera Manager 升级完成后重新创建这些复制计划。

2) 停止Cloudera 管理服务

3) 停止Cloudera Manager Server

systemctl stop cloudera-scm-server

4) 停止Cloudera Manager Agent.

service cloudera-scm-agent stop

5) 升级包。

yum clean all

yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent

6) 验证您是否安装了正确的软件包

rpm -qa 'cloudera-manager-*'

cloudera-manager-server- 5.14 -..cm...

cloudera-manager-agent- 5.14 -..cm...

cloudera-manager-daemons- 5.14 -..cm...

7) 启动Cloudera Manager Agent.、server

service cloudera-scm-agent start

service cloudera-scm-server start

正常的话打开cdh升级页面就可以看到升级的情况了
http://cloudera_Manager_server_hostname:7180

https:// my_cloudera_manager_server_host:port /cmf/upgrade-wizard/welcome

3. 升级cm agent

1) 启动 Cloudera Manager 管理服务

2) 单击Yes, I would like to upgrade Cloudera Manager Agent packages now.

3) 点击继续。

将显示升级 Cloudera Manager 代理程序包页面

4) 安装 Cloudera Manager Agent 包时选择自定义存储库选项并输入自定义存储库URL。

5) 安装jdk，不用选择

6) 输入用户信息，等待完成

 7)完成后继续重启即可