• 05-配置数据库的远程连接 创建hive数据库的时候要选择latin1


    1.解压hive的tar包
    2.配置环境变量 source /etc/profile
    3. cp /root/Downloads/apache-hive-1.2.0-bin/lib
    /root/Downloads/hadoop-2.6.5/share/hadoop/yarn/lib
    3 hive
    4.可以 show databases; show tables; create database 数据库名;
    create table 表名;
    (tinyint smallint int bigint string float double array struct map timestamp)
    desc 表名;show create table 表名;
    5 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe 切分的类 在使用这个hdfs中文件的
    时候进行切分 一定是在查询数据的时候切分 所以是懒加载
    org.apache.hadoop.mapred.TextInputFormat 在取hdfs数据的时候,我们其实是将mr提交完毕
    以后用mapper进行数据读取 读取的时候用到
    org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
    在mr任务执行的时候,读取完毕的数据要输入到一个文件中,输出的时候只要value,不要key
    hdfs://linux01:9000/user/hive/warehouse/student
    指向一个hdfs文件夹目录 目录中的所有数据都是这个表的数据

    ***默认情况下在我们没有设置这个数据库连接时,那么存储的位置就在当前的目录
    默认用的derby数据库
    ***如果换了一个启动目录,对应的数据就不存在了
    6 rpm -qa | grep mysql
    rpm -e --nodeps mysql
    7 安装 rpm -ivh MySQL-server-5.5.47-1.linux2.6.x86_64.rpm
    rpm -ivh MySQL-client-5.5.47-1.linux2.6.x86_64.rpm
    8 service mysql start
    mysql_secure_installation
    9 service mysql restart
    10 mysql -uroot -p123456(ps aux |grep mysq* kill pid)
    11 scp 客户端 安装
    12 grant all privileges on *.* to root@"%" identified by "123456";
    flush privileges;
    13 service mysql restart
    14 mysql -uroot -p123456 -h linux02
    15 create user wzw;
    16 set password for wzw=password("123456")
    17 update user set Grant_priv="Y" where user="root"
    18 grant select on 1807A.student to wzw;

    1. /$HIVE_HOME/conf
    将hive-default.xml.template 重命名 hive-site.xml
    <configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://linux02:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    </property>
    </configuration>
    2 将mysql的驱动jar包添加到hive的lib目录下
    3.配置数据库的远程连接,创建hive数据库的时候 swedish
    create database hive character set "latin1";
    4 hive
    在hive中的所有的数据都存在hdfs中,一个表对应的一个文件夹
    /user/hive/warehouse是hive存放文件的基础目录,默认不变
    直接指向这个目录,这个是根目录
    创建的数据库会在这个目录中存在一个xxx.db的文件夹
    create table student2() loaction "hdfs://linux01:9000/student2"
    5 在mapreduced-site.xml local

    4.5Hive配置文件
    进入配置文件目录:
    # >cd /home/bigdata/hive/conf
    
    将hive-default.xml.template文件拷贝并重命名成hive-site.xml:
    # >mv hive-default.xml.template hive-site.xml
    
    清空文件中<configuration></configuration>之间的内容并加入下列内容:
    <property>
    	<name>javax.jdo.option.ConnectionURL</name>
    	<value>jdbc:mysql://slave1.com:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionUserName</name>
    	<value>root</value>
    </property>
    <property>
    	<name>javax.jdo.option.ConnectionPassword</name>
    	<value>root</value>
    </property>
    
    将mysql的驱动jar包添加到hive的lib目录下
    

     

     

  • 相关阅读:
    nginx+keepalived实现负载均衡nginx的高可用
    php7 安装swoole4.0.4
    Cannot find config.m4. Make sure that you run '/usr/local/php/bin/phpize' in the top level source directory of the module的 解决方法
    简析小黑是如何盗取cookie登录用户账号
    一个'&'引起md5签名不一致问题
    linux学习:curl与netcat用法整理
    swoole+websocket+redis实现一对一聊天
    使用COOKIE实现登录 VS 使用SESSION实现登录
    巧用PHP中__get()魔术方法
    用户表分表原理
  • 原文地址:https://www.cnblogs.com/JBLi/p/10824342.html
Copyright © 2020-2023  润新知