• 带你认识数仓的“规格变更”


    摘要:本文对DWS变更规格功能的实现原理和如何使用进行介绍。

    本文分享自华为云社区《一文读懂DWS“规格变更”【这次高斯不是数学家】》,作者: codefulture 。

    一、为什么要变更规格?

    在使用集群的过程,我们一定能遇到这样一种情况:当用户的业务量大的时候,集群需要更多的资源(CPU、内存、磁盘等)来支撑庞大的业务量,如果用户当前使用的集群资源不足,则需要新建集群,或将当前集群删除创建一个资源更多的集群,这样不仅花费更多的资金,整个流程也会十分麻烦耗时;如果用户创建的集群自身资源较多,但是业务量并没有那么多,这样就存在资源冗余,并且会扣除原本不需要花费的资金。

    所以“规格变更“的功能应运而生,能够方便用户根据当前业务量灵活调整集群的资源数量。

    二、“规格变更”变更的是什么规格?

    主要针对CPU、内存两种资源的变更,不同数量的CPU和内存将组合成一种规格,例如:dwsx.16xlarge(CPU:64 Memory:512G ),下面会介绍规格变更的具体使用。

    注:如果用户想要变更磁盘容量,需要对集群进行“扩容”操作。

    三、什么版本集群可以进行规格变更?

    规格变更功能将会在8.1.3版本正式与大家见面,8.1.3及以上版本的云数仓、实时数仓、IoT数仓均支持此功能。

    四、功能介绍

    DWS规格变更的变更过程是依赖弹性云服务器的特性,或者说是对弹性云服务器变更功能的扩展和应用。

    弹性云服务器

    弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器。

    实现原理

    规格变更流程图

    从流程图中可以看出,规格变更整个流程需要停止集群,所以需要用户合理安排变更时间窗口,防止集群停止影响业务;也可以看出在实际变更过程中,所有节点的变更都是并行执行的,所以不会由于节点过多而造成变更时间变长,整个变更时间在10分钟左右。

    变更的节点包含CN、DN、未使用的空闲DN节点。

    如何变更

    a.点击集群列表右侧的详情,选择“规格变更”

    b.查询并选择要变更的规格

    c.点击下一步,进入确认页面

    d.提交规格变更任务

    问题与解决办法

    a.查询不到规格

    当前集群的规格不支持变更,或没有满足条件的规格可供变更。

    b.变更失败

    规格变更是支持重入的,若存在部分节点变更失败,可以再次提交变更任务,执行变更流程。若仍然失败,需要联系技术人员解决。

     

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    安装pykeyboard模块
    Windows Defender Antivirus Service经常性出现占用CPU厉害
    Xpath 语法笔记
    通过docker部署rocketmq双主双从集群
    解决提取Mybatis多数据源公共组件“At least one base package must be specified”的问题
    设计模式-单例模式
    通过阳历生日计算星座,阴历生日,生辰八字,生肖五行
    设计模式-抽象工厂模式
    设计模式-工厂方法模式
    常用的MD5工具类
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/16466554.html
Copyright © 2020-2023  润新知