• select … from … where … group by … having … order by … limit的执行顺序


    在大佬那里找到的:https://www.cnblogs.com/gxgd/p/9431783.html

    select … from … where … group by … having … order by … limit的执行顺序

    其实总结hive的执行顺序也是总结mapreduce的执行顺序:

    MR程序的执行顺序:

    map阶段:

    1.执行from加载,进行表的查找与加载

    2.执行where过滤,进行条件过滤与筛选(map时的数据筛选)

    3.执行select查询:进行输出项的筛选

    4.执行group by分组:描述了分组后需要计算的函数 (partition阶段)

    5.map端文件合并:map端本地溢出写文件的合并操作,每个map最终形成一个临时文件。 然后按列映射到对应的reduceReduce阶段:

    Reduce阶段:

    1.group by:对map端发送过来的数据进行分组并进行计算。

    这里应该加一个order by逻辑(排序应该是发生在reduce端的磁盘到磁盘的merge阶段--数据合并+排序)

    这里应该加一个having逻辑,reduce阶段也可以进行逻辑筛选

    2.select:最后过滤列用于输出结果

    3.limit排序后进行结果输出到HDFS文件

    所以通过上面的例子我们可以看到,在进行selectt之后我们会形成一张表,在这张表当中做分组排序这些操作。

  • 相关阅读:
    Redis篇
    MySql篇
    Tomcat篇
    JDK篇
    冒泡排序(算法源码)
    堆排序(源码)
    快速排序(递归及非递归算法源码)
    MongoDB 复制
    MongoDB appendix
    服务器端脚本
  • 原文地址:https://www.cnblogs.com/youchi/p/13551623.html
Copyright © 2020-2023  润新知