【Hadoop离线基础总结】Hive的安装部署以及使用方式

Hive的安装部署以及使用方式

---

安装部署

• Derby版hive直接使用
  cd /export/softwares
  将上传的hive软件包解压：tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/
cd /export/servers/hive-1.1.0-cdh5.14.0/
  启动：bin/hive
  
  缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；

• 使用mysql共享hive元数据
  
  1.国内下载mysql源：http://mirrors.163.com/mysql/Downloads/
  
  2.下载完成后将tar包解压到/var/cache/yum/x86_64/7/mysql57-community/packages
  
  3.可以用两种方法安装
  (1) yum install mysql mysql-server mysql-devel （安装包已经放到指定路径下，就不用再下载了）
  (2) rpm -ivh *.rpm（安装前要先cd到上面说的文件夹）
    第二种安装时如果出现“公钥未安装”之类的字眼，在后面加 --force --nodeps即可
  
  4.启动mysql的服务
  service mysqld start或systemctl start mysqld.service（CentOS 7 之后的版本两个都能用）
  
  5.查看mysql服务是否启动成功
  service mysqld status或systemctl status mysql.service
  
  6.初始化mysql并生成随机密码
  初始化mysql：mysqld --initialize
  查看随机密码：cat /var/log/mysqld.log
  
  7.使用随机密码登录，并修改密码
  登录：mysql -uroot -p
  修改密码强度：set global validate_password_length=6;
  修改密码长度：set global validate_password_policy=LOW;（因为打算设置一个简单的密码，所以需要修改）
  修改密码：ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
  
  8.退出mysql，修改mysql安装配置
  修改mysql安装配置：/usr/bin/mysql_secure_installation
  需要选择是n/y，我的顺序是n/y/n/y/y
  
  9.进去mysql，修改访问权限
  修改访问权限：grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
*.* 第一个*表示数据库名称，第二个*表示数据库下面的哪个表
  'root'@'%' root表示mysql的用户，%表示ip地址，可以从哪台机器使用那个用户来连接数据库
  all privileges 所有的权限，这里还可以写insert update delete select
identified by 远程连接的时候的密码，与mysql的root用户密码无关
  实际线上环境，关于mysql的控制比较严格，不同的人分配不同的用户，创建不同的数据库，分配不同的权限
  刷新权限表：flush pricileges;
  
  10.修改hive的两个配置文件
  修改hive-env.sh
  cd /export/servers/hive-1.1.0-cdh5.14.0/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
  
  创建hive-site.xml

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03.hadoop.com:3306/hive?createDatabaseIfNotExist=true</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03.hadoop.com</value>
        </property>
<!--
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://node03.hadoop.com:9083</value>
        </property>
-->
</configuration>

  11.上传mysql的lib驱动包
   上传到这里：cd /export/servers/hive-1.1.0-cdh5.14.0/lib

参照mysql-connector-java和mysql的对应关系进行选择下载 （图转自CSDN博主「hchhan89」）

---

使用方式

• 第一种交互方式
  使用hive的bin/hive可以进入hive的客户端，执行sql语句
  cd /export/servers/hive-1.1.0-cdh5.14.0
  启动：bin/hive
  查看所有的数据库：hive (default)> SHOW DATABASES;
  创建一个数据库：hive (default)> CREATE DATABASE myhive;
  使用该数据库并创建数据库表：hive (default)> USE myhive
              hive (default)> CREATE TABLE test(id INT,name STRING)

• 第二种交互方式
  Hive JDBC服务
  可以前台启动服务端：bin/hive --service hiveserver2 在前台就会一直占用一个窗口
  
  也可以把进程挂在后台： nohup bin/hive --service hiveserver2 2>&1 &
  再使用beeline进行交互：bin/beeline !connect jdbc:hive2://node03:10000
  

• 第三种交互方式
  Hive命令
  -e参数表示直接执行hql的语句：bin/hive -e "use myhive;select * from test;"
-f参数表示通过指定文本文件来执行hql语句：bin/hive -f hive.sql
  更多参数参考