• Kylin的垃圾清理


    在Kylin运行一段时间之后,有很多数据因为不再使用而变成了垃圾数据,这些数据占据着大量HDFS、HBASE等资源,当积累到一定规模时会对集群性能产生影响。这些垃圾数据主要包括:

    • Purge之后原Cube的数据
    • Cube合并之后原Cube Segment的数据
    • 任务失败中未被正常清理的临时数据文件
    • 已经过时的Cube构建的日志和历史任务

    为了对这些垃圾数据进行清理,Kylin提供了两个常用的工具。特别注意:数据一经删除将彻底无法恢复!建议使用前一定要进行元数据备份,并对目标资源删除之前进行谨慎的核对。

    清理元数据

    1. 首先,执行检查,这是安全操作,不会修改任何内容
    $KYLIN_HOME/bin/metastore.sh clean
    
    
    #这样智慧列出可以被清理的资源供用户核对,而不进行实际的删除操作

      2. 在上面的命令中添加“--delete true”参数,这样就会清理掉无用的资源,切记,在这个命令操作之前,一定要备份kylin元数据

    $KYLIN_HOME/bin/metastore.sh clean --delete true

     清理存储器数据

    Kylin在构建Cube过程中会在HDFS上生成中间数据。另外,当我们对Cube执行purge/drop/merge时,一些HBASE的表可能会保留在HBASE中,而这些表不再被查询,尽管Kylin会做一些自动的垃圾回收,但是它可能不会覆盖所有方面,所以需要我们能够没隔一段时间做一些离线存储的清理工作。

      1.检查那些资源需要被清理,这个操作不会删除任何内容

    $KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete false

      2.开始执行清理操作

    $KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true
  • 相关阅读:
    有几个PAT
    数组模拟求阶乘
    从程序员到架构师转变
    [评论]去360还是留在百度?
    PHPCMS V9模板制作进阶教程之常用PC标签大全
    phpcms v9 如何用PC标签在列表页中同时调出文章内容
    PHP创建缩略图造成图片质量低下的完美解决方法
    Jquery关闭离开页面时提醒
    天猫启动了旗舰店升级品牌商城计划 天猫商城旗舰店向自主B2C模式转型
    shopex模板编辑说明文档
  • 原文地址:https://www.cnblogs.com/sellsa/p/10212620.html
Copyright © 2020-2023  润新知