• MYSQL/HIVESQL笔试题(一):HIVESQL(一)分组求TopN/行转列/列转行


    1 分组求TopN

    一、先看数据:

    使用HiveSQL常用的方式为:

    Select * from table,
    row_number() over(partition by item order by score desc) rank
    where rank<=2;

    二、输出结果为:

    三、解析:row_number()函数基于over对象分组、排序的记过,为每一行分组记录返回一个序号,该序号从1开始,依次递增,遇到新组则重新从1开始。也就是说,该函数计算的值表示每组内部排序后的顺序编号。

    然后在语句中加入限制条件rank<=2来筛选具体选取top几。从最终的结果可以看出,语文成绩考试前两名的同学分别是建国和小编、数学成绩排名前两名的同学分别是建国和狗剩。

    2 行转列/列转行

    一、数据如下:

    现在需要转换为:

    二、使用hive实现需求的话,可以使用:

    Select
    name,
    sum(case when item=数学 then score end) as math,
    sum(case when item=英语 then score end) as english,
    From table
    Group by name

    三、解析:首先写出select name from table group by name, 因为select后有几个字段,最终输出就是几个字段,所以我们需要把目标数据的”math”和“english”两个字段想办法得出来。

    之后可以对item字段所有枚举的结果进行case when判断,将score填值进入,因为最后我们需要对name做一下聚合,需要明确的是一般选取字段一定要出现在groupby里面。

    聚合函数可以不用,所以我们在外面套一层sum做聚合,这样得到sum的结果和单人得分结果是一致的,因为我们以name做了一遍聚合,而每个用户对一门课程只有一个成绩,所以这样就可以得到最终结果。

    3 将“表-4”的内容转换为“表-3”的内容

    select table_4.name,
    a.item,
    a.score
    from table_4
    lateral view explode(
    str_to_map(concat('math=',math,'&english=',english),'&','=')
    ) a as item,score;

    解析:首先使用str_to_map函数将math字段与english字段拼接后的结果转换为map类型,然后通过侧视图和explode函数将其爆炸开,给生成的临时侧视图一个名字,取名a并给列名取名为item,score,因为explode(map)爆炸的结果是每一个item为行,key为1列,value为1列,这样就恰好形成我们想要的结果。这个示例理解起来稍微有点难度,大家不熟悉这些函数的用法的话,可以首先熟悉一下。

  • 相关阅读:
    poj 3590 The shuffle Problem——DP+置换
    poj 3128 Leonardo's Notebook——思路(置换)
    bzoj 1004 [HNOI2008]Cards && poj 2409 Let it Bead ——置换群
    bzoj 1119 [POI2009]SLO && bzoj 1697 [Usaco2007 Feb]Cow Sorting牛排序——思路(置换)
    bzoj 3944 Sum —— 杜教筛
    bzoj 1367 [ Baltic 2004 ] sequence —— 左偏树
    bzoj 2093 [ Poi 2010 ] Frog —— 滑动窗口 + 倍增
    bzoj 2276 [ Poi 2011 ] Temperature —— 单调队列
    bzoj 2069 [ POI 2004 ] ZAW —— 多起点最短路 + 二进制划分
    NOIP2007普及 守望者的逃离
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/14879106.html
Copyright © 2020-2023  润新知