• Kylin的垃圾清理


    在Kylin运行一段时间之后,有很多数据因为不再使用而变成了垃圾数据,这些数据占据着大量HDFS、HBASE等资源,当积累到一定规模时会对集群性能产生影响。这些垃圾数据主要包括:

    • Purge之后原Cube的数据
    • Cube合并之后原Cube Segment的数据
    • 任务失败中未被正常清理的临时数据文件
    • 已经过时的Cube构建的日志和历史任务

    为了对这些垃圾数据进行清理,Kylin提供了两个常用的工具。特别注意:数据一经删除将彻底无法恢复!建议使用前一定要进行元数据备份,并对目标资源删除之前进行谨慎的核对。

    清理元数据

    1. 首先,执行检查,这是安全操作,不会修改任何内容
    $KYLIN_HOME/bin/metastore.sh clean
    
    
    #这样智慧列出可以被清理的资源供用户核对,而不进行实际的删除操作

      2. 在上面的命令中添加“--delete true”参数,这样就会清理掉无用的资源,切记,在这个命令操作之前,一定要备份kylin元数据

    $KYLIN_HOME/bin/metastore.sh clean --delete true

     清理存储器数据

    Kylin在构建Cube过程中会在HDFS上生成中间数据。另外,当我们对Cube执行purge/drop/merge时,一些HBASE的表可能会保留在HBASE中,而这些表不再被查询,尽管Kylin会做一些自动的垃圾回收,但是它可能不会覆盖所有方面,所以需要我们能够没隔一段时间做一些离线存储的清理工作。

      1.检查那些资源需要被清理,这个操作不会删除任何内容

    $KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete false

      2.开始执行清理操作

    $KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true
  • 相关阅读:
    如何给博客园添加背景canvas线条动画背景
    过去-现在-未来
    如何将图片转化为代码图片
    css3炫酷登录页面
    图片跟随鼠标移动特效
    css3实现鼠标移入图片特效
    在线上传图片获取url
    《程序员修炼之道:从小工到专家》读后感01
    动手动脑-随机数和重载
    JAVA学习第三周
  • 原文地址:https://www.cnblogs.com/sellsa/p/10212620.html
Copyright © 2020-2023  润新知