• 【hive】lateral view的使用


    当使用UDTF函数的时候,hive只允许对拆分字段进行访问的

    例如:

    select id,explode(arry1) from table; —错误

    会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF's.  

    select explode(array1) from table; —正确

    但是实际中经常要拆某个字段,然后一起与别的字段一起出.例如上面的id和拆分的array元素是对应的.我们应该如何进行连接呢?我们知道直接select id,explode()是不行的.这个时候就需要lateral view出厂了.

    lateral view为侧视图,意义是为了配合UDTF来使用,把某一行数据拆分成多行数据.不加lateral view的UDTF只能提取单个字段拆分,并不能塞会原来数据表中.加上lateral view就可以将拆分的单个字段数据与原始表数据关联上.

    在使用lateral view的时候需要指定视图别名和生成的新列别名

    例如

    select id,num from table lateral view explode(array1) subview as num;

    subview为视图别名,num为指定新列别名

    lateral view explode 相当于一个拆分array1字段的虚表,然后根据id将其与原表进行笛卡尔积关联.

    我们也可以多次使用lateral view explode

    select id,num1,num2 from table 

    lateral view explode(array1) subview1 as num1

    lateral view explode(array2) subview2 as num2

    where ...;

    我们可以理解为lateral view为table的一个cross join,关联键是table的id

    我们在上篇讲解的json解析使用到的json_tuple()函数也是UDTF函数,因为一个json字符串对应了解析出n个字段.与原表数据关联的时候需要使用lateral view

    select id from table lateral view json_tuple(property,'tag_id','tag_type’);

  • 相关阅读:
    Vue实例
    Vue介绍
    Vue相关知识点记录
    JS面向对象设计-创建对象
    JS面向对象设计-理解对象
    软件工程基础 完结撒花
    深度学习 基于CNN的纹理合成实践【附python实现】
    图像处理 傅里叶正逆变换与余弦正逆变换 【附C++实现】
    Webviz
    Webviz
  • 原文地址:https://www.cnblogs.com/zzhangyuhang/p/9791795.html
Copyright © 2020-2023  润新知