JavaAPI与hbase的交互

JavaAPI连接Hbase

准备工作：

• 　　确保集群各节点服务运行正常
• 　　确保zookeeper可以正常工作
• 　　已经开启hbase-master，hbase-regionserver
• 　　环境：windows7下eclipse，集群正常工作。
  • 　　由于我们是在windows7下运行，所以我们将服务器中的hadoop程序拷贝到本地。
  • 　　在系统的环境变量中设置HADOOP_HOME，并且将%HADOOP_HOME%/bin添加到path当中。
  • 　　接下来在运行中，执行程序的时候eclipse会报错说找不到winutils.exe。所以我们还要下载一个winutils.exe，我这里提供一个github上的下载链接https://github.com/srccodes/hadoop-common-2.2.0-bin，下载以后解压到bin下即可。（版本虽然很旧，但是可以使用）

连接hbase并进行简单操作：

1. 创建JavaProject，导入需要的jar包，jar包来自于服务器上hbase中的lib文件夹下的jar文件，所以将lib直接拷贝到当前工程中，并build path(导入这些额外的包)。
2. 同时拷贝hbase下的log4j.properties文件到项目中，在执行过程中可以查看到执行过程中产生的日志。
3. 创建连接hbase需要的配置信息
   
   1. Java客户端其实就是shell客户端的一种实现，操作命令基本上就是shell客户端命令的一个映射。
   2. Java客户端使用的配置信息是被映射到了HbaseConfiguration的实例对象中的，使用create方法创建实例化对象的时候，会从classpath中获取hbase-site.xml文件并进行配置文件内容的读取。同时也会读取hadoop的配置文件信息。这里我们给定zookeeper的相关配置信息即可。
   3. 流程：先通过zookeeper拿到hbase:namespace的路径，然后从这个路径中拿到hbase:meta表的信息，接着就拿到了用户表的路径　　　
4. 代码实现如下
   

   package com.hblink.demo;
   
   import java.io.IOException;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.HBaseConfiguration;
   
   public class Hblink {
       /**
        * 获取hbase的配置文件信息
        * 
        * @return
        * @throws IOException
        */
       public static Configuration getHBaseConfiguration() throws IOException {
           Configuration conf = HBaseConfiguration.create();
           // zookeeper的配置信息
           conf.set("hbase.zookeeper.quorum", "kslave5,kslave6,kslave7");// zookeeper节点信息
           conf.set("hbase.zookeeper.property.clientPort", "2181");// zookeeper端口
           // conf.set("dfs.socket.timeout", "180000");
           return conf;
       }
   }

5. 有了配置信息以后，我们开始通过配置信息连接hbase
   

   HBaseAdmin类：是主要进行DDL操作相关的一个接口类，主要包括命名空间管理，用户表管理。通过该接口我们可以创建、删除、获取用户表，也可以进行用户表的分割，紧缩等操作。
   HTable类：是hbase中的用户表的一个映射的java实例，通过该类进行表数据的操作，包括数据的增删改查，也就是在这里我们可以类似shell中put，get和sacn进行数据的操作。

   HTableDescriptor类：是hbase用户表的具体描述信息类，一般我们创建表获取表信息，就是通过该类进行的。

   package com.hblink.test;
   
   import java.io.IOException;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.HColumnDescriptor;
   import org.apache.hadoop.hbase.HTableDescriptor;
   import org.apache.hadoop.hbase.TableName;
   import org.apache.hadoop.hbase.client.HBaseAdmin;
   
   import com.hblink.demo.Hblink;
   
   public class HbTest {
       public static void main(String[] args) throws Exception {
           Configuration configuration = Hblink.getHBaseConfiguration();
           HBaseAdmin hBaseAdmin = new HBaseAdmin(configuration);
           try {
               createTestTable(hBaseAdmin);
           } finally {
               hBaseAdmin.close(); // 资源释放
           }
       }
   
       /**
        * 测试创建表table
        * 
        * @throws IOException
        */
       static void createTestTable(HBaseAdmin hbAdmin) throws IOException {
           TableName tableName = TableName.valueOf("stock-info"); // 创建表名
           HTableDescriptor hDescriptor = new HTableDescriptor(tableName);
           hDescriptor.addFamily(new HColumnDescriptor("f"));// 给定列族
           hbAdmin.createTable(hDescriptor);
           System.out.println("创建表成功!");
       }
   }

6. 接下来是数据插入
   

   package com.hblink.test;
   
   import java.io.BufferedReader;
   import java.io.File;
   import java.io.FileInputStream;
   import java.io.FileNotFoundException;
   import java.io.IOException;
   import java.io.InputStreamReader;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.client.HTable;
   import org.apache.hadoop.hbase.client.Put;
   import org.apache.hadoop.hbase.util.Bytes;
   
   import com.hblink.demo.Hblink;
   
   public class TableTest {
       public static int count = 0;
   
       public static void main(String[] args) throws IOException {
   
           HTable hTable = null;
           Configuration configuration = Hblink.getHBaseConfiguration();
   
           hTable = new HTable(configuration, "stock-info");
   
           testPut(hTable);//插入数据
   
           hTable.close();//释放资源
   
       }
   
       /**
        * 测试往表里插入数据
        * 
        * @param hTable
        * @throws IOException
        */
       static void testPut(HTable hTable) throws IOException {
   
           File file = new File("./20171120sh.txt"); //获取本地文件
           InputStreamReader isr = null;
           try {
               isr = new InputStreamReader(new FileInputStream(file), "utf-8");
           } catch (FileNotFoundException e) {
               e.printStackTrace();
           }
           if (isr == null) {
               return;
           }
           BufferedReader br = new BufferedReader(isr);
           String re = "";
           while ((re = br.readLine()) != null) {
               String[] sarr = re.split(",");
               // System.out.println(sarr[0] + "-" + sarr[1] + "-" + sarr[2] + "-" + sarr[3] +
               // sarr[4] + "-" + sarr[5] + "-" + sarr[6]);
               // System.out.println(sarr[0]);
   
               Put put = new Put(Bytes.toBytes(sarr[0]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Stock"), Bytes.toBytes(sarr[1]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Date"), Bytes.toBytes(sarr[2]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Top"), Bytes.toBytes(sarr[3]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Change-rate"), Bytes.toBytes(sarr[4]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Volume"), Bytes.toBytes(sarr[5]));
               put.add(Bytes.toBytes("f"), Bytes.toBytes("Turnover"), Bytes.toBytes(sarr[6]));
               hTable.put(put);
               count++;
           }
           System.out.println("插入" + (count - 1) + "条数据成功!");
       }
   }

7. 对表中数据的查询
   

   package com.hblink.test;
   
   import java.io.IOException;
   import java.util.Scanner;
   
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.hbase.client.HTable;
   import org.apache.hadoop.hbase.client.Result;
   import org.apache.hadoop.hbase.client.ResultScanner;
   import org.apache.hadoop.hbase.client.Scan;
   import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
   import org.apache.hadoop.hbase.filter.Filter;
   import org.apache.hadoop.hbase.filter.RegexStringComparator;
   import org.apache.hadoop.hbase.filter.RowFilter;
   import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
   import org.apache.hadoop.hbase.util.Bytes;
   
   import com.hblink.demo.Hblink;
   
   public class ScanHbase {
       public static Boolean flag = true;
       public static String string = null;
   
       public static void main(String[] args) throws IOException {
           while (flag) {
               HTable hTable = null;
               Configuration configuration = Hblink.getHBaseConfiguration();
               hTable = new HTable(configuration, "stock-info");
   
               Scanner sc = new Scanner(System.in);
               System.out.print("请输入需要查询的股票代码：");
               string = sc.next();
   
               // scanTestCell(hTable);
               scanTestRow(hTable);
               hTable.close();
               if (string.equals("quit")) {
                   flag = false;
               }
           }
       }
   
       /**
        * 通过列查询
        * 
        * @param hTable
        * @throws IOException
        */
       static void scanTestCell(HTable hTable) throws IOException {
   
           // 设置过滤器
           SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(Bytes.toBytes("f"),
                   Bytes.toBytes("Date"), CompareOp.EQUAL, Bytes.toBytes(string));
           // 设置全表扫描封装类
           Scan scan = new Scan();
           // 添加过滤器（通过股票代码查询）
           scan.setFilter(singleColumnValueFilter);
           // 扫描
           ResultScanner resultScanner = hTable.getScanner(scan);
           for (Result result : resultScanner) {
               byte[] data = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Date"));
               byte[] stock = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Stock"));
               byte[] top = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Top"));
               byte[] change_rate = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Change-rate"));
               byte[] volume = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Volume"));
               byte[] turnover = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Turnover"));
   
               System.out.print(Bytes.toString(data) + ";");
               System.out.print(Bytes.toString(stock) + ";");
               if (Bytes.toString(top).equals("--")) {
                   System.out.print(Bytes.toString(top) + ";");
               } else {
                   System.out.print(Bytes.toInt(top) + ";");
               }
               System.out.print(Bytes.toString(change_rate) + ";");
               System.out.print(Bytes.toString(volume) + ";");
               System.out.print(Bytes.toString(turnover));
               System.out.println();
   
           }
   
       }
   
       /**
        * 通过正则--匹配行键
        * 
        * @param hTable
        * @throws IOException
        */
       static void scanTestRow(HTable hTable) throws IOException {
           RegexStringComparator re = new RegexStringComparator("^" + string + "");
           Filter filter = new RowFilter(CompareOp.EQUAL, re);
           Scan scan = new Scan();
           // 添加过滤器（通过股票代码查询）
           scan.setFilter(filter);
           // 扫描
           ResultScanner resultScanner = hTable.getScanner(scan);
           for (Result result : resultScanner) {
               byte[] data = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Date"));
               byte[] stock = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Stock"));
               byte[] top = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Top"));
               byte[] change_rate = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Change-rate"));
               byte[] volume = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Volume"));
               byte[] turnover = result.getValue(Bytes.toBytes("f"), Bytes.toBytes("Turnover"));
   
               System.out.print(Bytes.toString(data) + ";");
               System.out.print(Bytes.toString(stock) + ";");
               if (Bytes.toString(top).equals("--")) {
                   System.out.print(Bytes.toString(top) + ";");
               } else {
                   System.out.print(Bytes.toInt(top) + ";");
               }
               System.out.print(Bytes.toString(change_rate) + ";");
               System.out.print(Bytes.toString(volume) + ";");
               System.out.print(Bytes.toString(turnover));
               System.out.println();
   
           }
       }
   }

ps.继续学习中=====