• KeyOnlyFilter(2)


    主要用来过滤剩下行键计数一类

    KeyOnlyFilter

    官方API解释如下:

    A filter that will only return the key component of each KV (the value will be rewritten as empty).

    This filter can be used to grab all of the keys without having to also grab the values.

    此filter可以用来计数,但是效率没有FirstKeyOnlyFilter高

    如果需要用FirstKeyOnlyFilter 可以参考我这篇关于FirstKeyOnlyFilter的文章,地址如下

    http://blog.csdn.NET/liuxiaochen123/article/details/7878580

    KeyOnlyFilter实例代码如下,比较简单,意思到就行

    [java] view plain copy
     
    1. <span style="font-size:12px;">public int getCount1() {  
    2.         long bef = System.currentTimeMillis();  
    3.         int i = 0;  
    4.         ResultScanner rs = null;  
    5.         try {  
    6.             Scan s = new Scan();  
    7.             s.setCaching(500);  
    8.             s.setCacheBlocks(false);  
    9.             s.setFilter(new KeyOnlyFilter());  
    10.             rs = tableKeyword.getScanner(s);  
    11.         } catch (IOException e) {  
    12.             log.warn(e);  
    13.             e.printStackTrace();  
    14.         }  
    15.         for (org.apache.hadoop.hbase.client.Result r : rs) {  
    16.             i++ ;  
    17.         }  
    18.         long now = System.currentTimeMillis();  
    19.         log.warn("keyword表中数据总数 :" + i + ", 所用时间 : " + (now - bef)/1000.0);  
    20.         rs.close();  
    21.         return i;  
    22.     }</span>  


    最好设置tableKeyword.setScannerCaching(500);

    s.setCaching(500);
    s.setCacheBlocks(false);这三个参数,否则速度会降下来很多

    总的来说,可以节省很多时间

  • 相关阅读:
    浙江工业大学校赛 小马哥和数列
    浙江工业大学校赛 XiaoWei的战斗力
    浙江工业大学校赛 猜猜谁是我
    浙江工业大学校赛 竹之书(大数,同余定理)
    浙江工业大学校赛 画图游戏 BugZhu抽抽抽!!
    浙江工业大学校赛 画图游戏
    pta 天梯地图 (Dijkstra)
    Atom打造 c/c++编译环境(忙了一个上午)
    HRBUST
    CSU 1808 地铁 (Dijkstra)
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/6777664.html
Copyright © 2020-2023  润新知