• Hive之SerDe&Beeline


    一.SerDe 

      SerDe:Serializer and Deserializer 序列化及反序列化,构建在数据存储和执行引擎之间,对两者实现解耦。

      Hive通过ROW FORMAT DELIMITED 以及SERDE进行内容的读写。

      样板:

      row format

      :DELIMITED 

        [FIELDS TERMIINATED BY char [ESCAPED BY char]

        [COLLECTION ITEMS TERMINATED BY char]

        [MAP KEYS TERMINATED BY char]

        [LINES TERMINATED BY char]

      :SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value,property_name=property_value...)]

      案例1:

        create table zhen(id int, name string,age int)

        row format delimited fields terminated by ','  collection items terninated by ',' map keys terminated by ':' lines terminated by ' ' ;

      案例2:

        create table zhen(id int, name string,age int)

        row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties("input.regex" = "([^ ])([^ ])([^ ])") // 正则匹配

        stored as textfile;

      备注:lines 默认按照换行拆分!

    二.Beeline

      格式化数据表数据,Beeline要和HiveServer2配合使用。服务端启动hiveserver2,客户端通过beeline两种方式连接hive

      1.beeline -u jdbc:hive2://localhost:10000/default -n root

      2.1.beeline

      2.2 !connect jebc:hive2:/localhost:10000/defalut;auth-noSasl root 123

     

      

  • 相关阅读:
    Metasploit命令大全
    nmap所有参数详解
    Kali Linux 命令集
    十大编程算法助程序员走上大神之路
    新入行程序员需要知道的十个秘密
    浅谈c#枚举
    php 常用的系统函数
    php大型网站如何提高性能和并发访问
    【转】Oracle + PHP Cookbook(php oracle clob 长度超过4000如何写入)
    干货:小程序开发文档和设计指南要点详解
  • 原文地址:https://www.cnblogs.com/yszd/p/10647859.html
Copyright © 2020-2023  润新知