Hbase——JavaAPI操作笔记

写在前面

这篇文章上接Hbase搭建和Shell命令，咕咕咕了好久，最近终于有空歇下来总结一下了。

基本API——增删改

导入依赖

首先新建一个maven项目，导入如下的依赖：

<dependencies>    
<dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-server</artifactId>
        <version>1.3.1</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>1.3.1</version>
    </dependency>
    </dependencies>

这里的版本要和服务器里的版本相对应。

准备工作

为了方便以后的连接，我们直接把连接HBase的配置写到静态代码块里，这样每次这个类运行的时候都会执行这些代码：

    private static Connection connection = null;
    private static Admin admin = null;
    static {
        try {
            // 1.获取配置信息
            Configuration configuration = HBaseConfiguration.create();
            configuration.set("hbase.zookeeper.quorum","hadoop03,hadoop04,hadoop05");

            // 2.创建连接对象
            connection = ConnectionFactory.createConnection(configuration);

            // 3.创建admin对象
            admin = connection.getAdmin();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

这里的configuration里set的值要换成你自己的hbase地址。我这里是在windows里配置了hosts文件映射，所以可以直接写主机名。建议都去配一下映射，不然好像会报错。

检验表是否存在

先来看代码：

    /**
     * 1.判断表是否存在
     * @return
     */
    public static boolean isTableExist(String tableName) throws IOException {
        // 1.判断表是否存在
        boolean exists = admin.tableExists(TableName.valueOf(tableName));
        // 2.关闭连接
        admin.close();
        // 3.返回结果
        return exists;
    }

这里要注意的点是，tableExists()方法只能传入一个TableName对象，我们可以通过TableName.valueOf()来获得一个TableName对象。

创建表

/**
 * 2. 创建表
 */
public static void createTable(String tableName,String... cfs) throws IOException {
    // 1.判断是否存在列族信息
    if(cfs.length <=0){
        System.out.println("请设置列族信息！");
        return;
    }
    // 2.判断表是否存在
    if(isTableExist(tableName)){
        System.out.println(tableName + "表已存在！");

        return;
    }
    // 3.创建表描述器
    HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
    // 4.循环添加列族信息
    for (String cf : cfs) {
        // 5.创建列族描述器
        HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(cf);
        // 6.添加具体的列族信息
        hTableDescriptor.addFamily(hColumnDescriptor);

    }
    // 7.创建表
    admin.createTable(hTableDescriptor);
}

这里要注意的点是，我们通过面向对象的思想来创建一个表，首先创建一个表描述器，然后对表描述器添加列族描述器。这里只是一个例子，可以传入的类型不止这些，可以再细看API。

删除表

删除表，就跟我们用shell操作一样，先让表失效，再去删除表：

    /**
     * 3.删除表
     */
    public static void dropTable(String tableName) throws IOException {
        // 1.判断表是否存在
        if(!isTableExist(tableName)){
            System.out.println(tableName + "表不存在！！");
            return;
        }
        // 2.使表下线
        admin.disableTable(TableName.valueOf(tableName));

        // 3.删除表
        admin.deleteTable(TableName.valueOf(tableName));
    }

向表插入(修改)数据

向表插入或者修改数据，我们使用Put对象即可。创建一个Put对象，然后对其赋值即可：

    /**
     * 5.向表插入数据
     */
    public static void putData(String tableName,String rowKey,String cf,String cn,String value) throws IOException {
        // 1.获取表对象
        Table table = connection.getTable(TableName.valueOf(tableName));
        // 2.创建put对象
        Put put = new Put(Bytes.toBytes(rowKey));
        // 3.给Put对象赋值
        put.addColumn(Bytes.toBytes(cf),Bytes.toBytes(cn),Bytes.toBytes(value));
        // 4.插入数据
        table.put(put);
        // 5.关闭表连接
        table.close();
    }

删除表中数据

/**
     * 8.删除数据
     */
    public static void deleteData(String tableName,String rowKey,String cf,String cn) throws IOException {
        // 1.获取表对象
        Table table = connection.getTable(TableName.valueOf(tableName));
        // 2.构建删除对象
        Delete delete = new Delete(Bytes.toBytes(rowKey));

        // 2.1设置删除的列
//        delete.addColumn(Bytes.toBytes(cf),Bytes.toBytes(cn));
//        delete.addColumns(Bytes.toBytes(cf),Bytes.toBytes(cn));
        // 2.2 删除指定的列族
        delete.addFamily(Bytes.toBytes(cf));
        // 3.执行删除操作
        table.delete(delete);

        // 4.关闭连接
        table.close();
    }

这里我们在删除时，可以指定删除的列或者列族，进而达到指定的列或者列族的目的。

查询API——get和scan

get

/**
 * 6.获取数据 (get)
 */
public static void getData(String tableName,String rowKey,String cf,String cn) throws IOException {
    // 1.获取表对象
    Table table = connection.getTable(TableName.valueOf(tableName));
    // 2.创建get对象
    Get get = new Get(Bytes.toBytes(rowKey));
    // 2.1指定获取的列族
    get.addFamily(Bytes.toBytes(cf));
    // 2.2指定列族和列
    get.addColumn(Bytes.toBytes(cf),Bytes.toBytes(cn));
    // 2.3设置获取数据的版本数
    get.setMaxVersions();
    // 3.获取数据
    Result result = table.get(get);
    // 4.解析result并打印
    for (Cell cell : result.rawCells()) {
        // 5.打印数据
        System.out.println("cf:" + Bytes.toString(CellUtil.cloneFamily(cell)) +
                "，CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) +
                "，Value:" + Bytes.toString(CellUtil.cloneValue(cell)));
    }
    // 6.关闭表连接
    table.close();
}

get查询方法和scan查询方法的区别在于，get查询方法获得指定的值，而scan方法获得某一范围内的值。

scan

/**
 * 7.获取数据(scan)
 */
public static void scanTable(String tableName) throws IOException {
    // 1.获取表对象
    Table table = connection.getTable(TableName.valueOf(tableName));

    // 2.构建Scan对象 左闭右开
    Scan scan = new Scan(Bytes.toBytes("1001"),Bytes.toBytes("1003"));
    // 3.扫描表
    ResultScanner scanner = table.getScanner(scan);
    // 4.解析scanner
    for (Result result : scanner) {
        // 5.解析Result并打印
        for (Cell cell : result.rawCells()) {
            // 6.打印数据
            System.out.println("RoleKey:" + Bytes.toString(CellUtil.cloneRow(cell))+
                    "，cf:" + Bytes.toString(CellUtil.cloneFamily(cell)) +
                    "，CN:" + Bytes.toString(CellUtil.cloneQualifier(cell)) +
                    "，Value:" + Bytes.toString(CellUtil.cloneValue(cell)));
        }
    }
    // 7.关闭连接
    table.close();

}

进阶查询——过滤器和比较器

这里我通过一个案例来举例：

假设现在有这样一个需求：根据用户输入的对应字段来做一个多条件查询，例如目前要查询的字段有jgmc(机构名称)，szdy(所在地域)，jsxqmc(技术需求名称)。假设已经把数据存入Hbase(一个列族名为dcwjxx，字段名为对应列)，如何使用Hbase实现该查询？

案例中的需求十分明确，我们要根据用户输入的各个字段来拼接查询条件。这种事用mysql十分容易实现，那么用hbase呢？还是先来看代码：

    public List<Dcwjxx> searchByCondition(String jgmc, String szdy,String jsxqmc) {
        // 根据条件是不是空来封装过滤器
        Scan scan = new Scan();
        // 按或条件查询
        FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ONE);
        if (!TextUtils.isEmpty(jgmc)) {
            SubstringComparator jgmcSubstringComparator = new SubstringComparator(jgmc);
            SingleColumnValueFilter jgmcFilter = new SingleColumnValueFilter(Bytes.toBytes("dcwjxx"),Bytes.toBytes(
                    "jgmc"), CompareFilter.CompareOp.EQUAL,jgmcSubstringComparator);
            filterList.addFilter(jgmcFilter);
        }
        if (!TextUtils.isEmpty(szdy)) {
            SubstringComparator szdySubstringCom = new SubstringComparator(szdy);
            SingleColumnValueFilter szdyFilter = new SingleColumnValueFilter(Bytes.toBytes("dcwjxx"),Bytes.toBytes(
                    "szdy"), CompareFilter.CompareOp.EQUAL,szdySubstringCom);
            filterList.addFilter(szdyFilter);
        }
        if (!TextUtils.isEmpty(jsxqmc)) {
            SubstringComparator jsxqmcSubstringCom = new SubstringComparator(jsxqmc);
            SingleColumnValueFilter jsxqmcFilter = new SingleColumnValueFilter(Bytes.toBytes("dcwjxx"),Bytes.toBytes(
                    "jsxqmc"), CompareFilter.CompareOp.EQUAL,jsxqmcSubstringCom);
            filterList.addFilter(jsxqmcFilter);
        }
        scan.setFilter(filterList);
        return (List<Dcwjxx>) getResult(scan);
    }

这里的getResult方法把返回的结果封装成了我们需要的对象，不需要在意这个方法，我们来看看如何用HBase的API拼接条件查询。

• 首先我们要明确，我们这是一个多条件的过滤，且是或的关系。
• 我们先定义一个FilterList对象，这个对象可以存储多个过滤器，这样我们就可以存储多个过滤条件了。这里传入一个或运算符
• 之后，根据条件是否为空来拼接filter，这里我们使用了SubstringComparator比较器，这是Hbase自带的比较器中的一种，其作用在类名上写的十分明确了，即判断传入的字符串是不是要查询的字符串的子串。
• 然后我们定义一个SingleColumnValueFilter过滤器，代表我们要对一个单元格数据进行处理，传入列族，列名和比较器运算符以及比较器，最后添加到filterList即可。
• 这样一来，我们就实现了类似mysql中的where语句的查询了。

总结

总的来说，Hbase作为一个非关系型分布式数据库和mysql这类关系型数据库差别还是比较大的，操作起来也有诸多不适应。还是希望能多多理解。