• Hive学习笔记


    Hive工作原理

    流程大致步骤为:

    1. 用户提交查询等任务给Driver

    2. 编译器获得该用户的任务Plan

    3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

    4. 编译器Compiler得到元数据信息,对任务进行编译,先将HiveQL转换为抽象语法树,然后将抽象语法树转换成查询块,将查询块转化为逻辑的查询计划,重写逻辑查询计划,将逻辑计划转化为物理的计划(MapReduce, 最后选择最佳的策略。

    5. 将最终的计划提交给Driver

    6. Driver将计划Plan转交给ExecutionEngine去执行,获取元数据信息,提交给JobTracker或者SourceManager执行该任务,任务会直接读取HDFS中文件进行相应的操作。

    7. 获取执行的结果。

    8. 取得并返回执行结果。

    Hive底层与数据库的交互原理

    Hive的查询功能是由hdfs+mapreduce结合起来实现的。

    Hivemysql的关系:只是借用mysql来存储hive中的表的元数据信息,称之为metastore

    Hive 内部表和外部表的区别

    内部表:建表时会在hdfs上创建一个表的存储目录,增加分区的时候会将数据复制到location下,删除数据的时候将表的数据和元数据一起删除。

    外部表:一般建立分区,在增加分区的时候不会将数据移到此表的location下,删除数据的时候只是删除了表的元数据,表的数据不会删除。

  • 相关阅读:
    UPD通信
    异常处理
    网络编程-套接字(socket)
    数据分析(一)
    爬虫存储库之mongodb数据库(四)
    爬虫请求库selenium(三)
    爬虫解析库beautifulsoup(二)
    爬虫简介与request库(一)
    flask框架数据库之SQLAlchemy
    flask框架(四)
  • 原文地址:https://www.cnblogs.com/lyywj170403/p/9205159.html
Copyright © 2020-2023  润新知