• Hive与Hadoop的交互流程


    1、 executeQuery:用户通过Hive界面(CLI/Web UI)将查询语句发送到Driver(驱动有JDBC、ODBC等)来执行;

    2、 getPlan :Driver根据查询编译器解析query语句,验证query语句的语法、查询计划、查询条件;

    3、 getMetaData:编译器将元数据请求发送给Metastore;

    4、 send MetaData:Metastore将元数据作为响应发送给编译器;

    5、 send Plan:编译器检查要求和重新发送Driver的计划。至此,查询的解析和编译完成;

    6、 execute Plan:Driver将执行计划发送给执行引擎;

    6.1、 MetaDataOps for DDLs:执行引擎发送任务的同时,对hive元数据进行相应操作(直接对数据库表进行操作的(创建表、删除表等),直接与MetaStore进行交互)。

    6.1、 execute Job:mapreduce执行job的过程。执行引擎发送任务到resourcemanager,resourcemanager将任务分配给nodenameger,由nodemanager分布式执行mapreduce任务。

    6.2、 任务执行结束,返回执行结果给执行引擎,同步执行6.3;

    6.3、 找Namenode获取数据

    7、fetch Results:执行引擎接收来自数据节点(data node)的结果

    8、sendResults:执行引擎发送这些合成值到Driver

    9、sendResults:Driver将结果发送到hive接口

  • 相关阅读:
    asp.net mvc上传头像加剪裁功能
    CSS基础部分总结
    Web前端之初学CSS
    JavaScript中的new操作符的原理解析
    JS常用数组API汇总
    【NOIP2020提高B组模拟11.26】卡常题
    【NOIP2020提高B组模拟11.26】逗气
    CSP-J/S总结
    计数题
    浅谈线段树——基础篇
  • 原文地址:https://www.cnblogs.com/MrFee/p/hive_hadoop.html
Copyright © 2020-2023  润新知