• Hive 特性及原理


    特点:Hive是构建在hadoop之上的数据仓库。数据存储在hdfs上,数据计算用的mapreduce框架。用户无需掌握MR的编写,通过类SQL语句即可自动生成查询计划。

    主要内容:
        接入入口   Client  CLI  Beeline  HiveServer2
        metastore
        metasotre serve/ metastore dababase
        数据库操作
        数据载入
        用户扩展功能UDF
        分区和桶
     
    和传统数据库的异同:
        同:访问和管理数据;提供类SQL查询语言;
        异:可处理大规模数据;扩展性和容错性非常强;不支付事务;
     
    应用场景:
        1.日志分析:pv,uv统计;多维度数据分析
        2.海量结构化数据离线分析
     
    局限:
        1.不是一个OLTP系统:响应时间慢;不能实时更新系统。
        2.提供的SQL表达能力有限:不支付迭代式计算;不支付复杂运算;
     
    运行原理:
        HQL语句 -> CLI语法检查、编译并优化,查看引用表metastore,生成查询计划 -> YARN拿到HDFS上的数据,然后处理 -> 结果保存到HDFS上 -> CLI获取最终的处理结果,并返回给用户。
     
      
     
     
  • 相关阅读:
    mybatis的知识点总结
    orm框架与缓存的关系
    mybatis知识点
    mybatis
    MyBatis的动态SQL详解
    工资谈判技巧
    MySQL 创建函数(Function)
    开始AFNetworking
    hdu 4778 Rabbit Kingdom(减少国家)
    设计模式:代理模式
  • 原文地址:https://www.cnblogs.com/mzzcy/p/7087931.html
Copyright © 2020-2023  润新知