Sqoop实现Hbase和关系型数据库的数据互导
Zookeeper 配置的更新,文件的命名
Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。
Hive是Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类似SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive是以表为单位,表里面的数据存储在HDFS。所有如果你有数据仓库的需求并且你擅长写SQL并且不想写MapReduce jobs就可以用Hive代替。
Hive帮助熟悉SQL的人运行MapReduce任务。因为它是JDBC兼容的,同时,它也能够和现存的SQL工具整合在一起。运行Hive查询会花费很长时间,因为它会默认遍历表中所有的数据。不支持实时查询。虽然有这样的缺点,一次遍历的数据量可以通过Hive的分区机制来控制。分区允许在数据集上运行过滤查询,这些数据集存储在不同的文件夹内,查询的时候只遍历指定文件夹(分区)中的数据。这种机制可以用来,例如,只处理在某一个时间范围内的文件,只要这些文件名中包括了时间格式。
#Hive安装
JDK
Hadoop
Hive
配置文件生效,这里用的是命令行的方式
Mysql
元数据存储使用mysql的优势是一个用户创建的表,另一个用户在任何位置都可以访问到该表。
Hive-site.xml里面修改,注释掉deby的
#Hive访问方式
(1)Cli (命令行的访问方式)
(2)Hwi (Hive自己提供的web UI的方式访问hive --service hwi ,不要关掉
然后去打开http://localhost:9999/hwi
(3)HiveServer 使用JDBC如何连接Hiveserver
hive –service hiveserver 大家就可以使用JDBC的方式访问元数据的信息。
新建类,定义驱动类,URL , NAME, PASSWORD