1. 简介
最近由于大数据部门相关同事离职,不得不研究一下大数据相关组件,今天成功安装配置Hive,简单记录,一是为了加深印象,二是为以后备用,三是为大家提供参考,避免少踩坑。
在Hive的官网上介绍三种可视化工具用于Windows系统中,可以通过JDBC连接Hive,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。由于个人精力有限目前只研究了一个工具,SQuirrel Sql client 可视化数据库工具基本可满足要求。
Squirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL、MSSQL、Hive、Phoenix等支持JDBC访问的数据库,可以在windows中直接连接Hive。
2. 下载地址及使用版本
参考资料:官网地址 http://www.squirrelsql.org/, 可直接从官网下载。
本教程使用Hive版本信息如下:
使用命令:hive –version
版本信息:Hive 2.3.3
下载及安装过程不再赘述,直接进入配置环节。
3. Hive配置与启动过程
在使用SQuirrel SQL Client链接Hive之前,首先确保Hive的远程metastore服务及HiveServer2服务已经启动,并且有访问权限。
3.1 配置远程metastore服务
1)首先配置hive集成mysql存储metastore(本地或远程mysql存储,相信大家已经配置完成,如果没有可参考文章***);
2)配置hive客户端,修改hive-site.xml:(服务器B-需要有hadoop环境)
使用远程metastore,配置如下:
<property> <name>hive.metastore.uris</name> <value>thrift://metastore_server_ip:9083</value> <!-- 此处是服务器ip --> <description></description> </property>
Hadoop的core-site.xml文件中配置hadoop代理用户,配置如下:
<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>
解释:root用户提交的任务可以在任意机器上以任意组的所有用户的身份执行。 若不设置,后续连接时会报如下错误:
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):User: root is not allowed to impersonate anonymous
设置完成后,需要重启Hadoop。(./stop-all.sh ./start-all.sh)
3)配置完成后,启动服务:$HIVE_HOME/bin/hive --service metastore & (默认监听端口:9083)
3.2 启动hiveservice2服务
$HIVE_HOME/bin/hive --service hiveserver2 &
经过以上两个步骤,可查看已启动的服务:
4. SQuirrel配置
4.1 运行SQuirrel SQL Client
运行SQuirrel SQL Client程序,增加hive driver,如下图所示:
4.2 配置驱动程序
如上图,单击加号,输入相应参数,如下图所示:
其中,图片序列号解释:
3 Example URL:jdbc:hive2://server_ip:10000/bbbTest。意思是:通过jdbc连接HiveServer2,端口号是10000,数据库名称为bbbTest。
4与5通过【增加】指定附加类路径。5表示依赖的Jar包,这些Jar包可以在Hadoop和Hive的安装目录中的lib文件夹中找到,包括:
commons-configuration-1.6.jar hadoop-common-2.8.4.jar hive-common-2.3.3.jar hive-contrib-2.3.3.jar hive-jdbc-2.3.3.jar hive-metastore-2.3.3.jar hive-serde-2.3.3.jar hive-service-2.3.3.jar hive-service-rpc-2.3.3.jar httpclient-4.4.jar httpcore-4.4.jar libthrift-0.9.3.jar
6 类名(Class Name):org.apache.hive.jdbc.HiveDriver 【会自动加载,如果多个可选择】
正确无误配置完成后,在已经注册的Driver列表中,会显示如下截图,对号表示注册成功,如果注册失败会有相应的红色叉号。如下图所示:
4.2 连接Hive Server服务
驱动安装成功后,切换到【别名】页,单击加号如下顺序,配置相关参数,测试成功。
4.3 打开已创建的数据库
4.4 新创建数据库
打开 Sql 查询窗口,创建一个表,Sql如下:
CREATE TABLE server_log(logtime INT, userid BIGINT, username STRING, address STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';
执行:show tables; 如下图所示:
或查看对象,如下图所示: