• hadoop 基础


    common  一组分布式文件系统和通用I/O的组件与接口(序列化、java RPC和持久化数据结构)

    Avro    一种支持高效、跨语言的RPC以及永久存储数据的序列化系统

    MapReduce 分布式数据处理模型和执行环境,运行于大型商用机集群

    HDFS    分布式文件系统,运行于大型商用机集群

    Pig     一种数据流语言和运行环境,用以检索非常大的数据集。Pig运行在MapReduce和HDFS上

    Hive    一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据,并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据

    HBase   一个分布式、按列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询(随机读取)

    Zookeeper 一个分布式、可用性高的协调服务。Zookeeper提供分布式锁之类的基本服务用于构建分布式应用

    Sqoop   在数据库和HDFS之间搞笑传输数据的工具

    Streaming 使用Unix标准流作为Hadoop和应用程序之间的接口,可以使用任何编程语言通过标准输入/输出来写MapReduce程序

    Pipes     Hadoop的Pipes是Hadoop MapReduce的C++接口代称。

    不适合在HDFS上运行的应用:低时间延迟的数据访问、大量的小文件、多用户写入,任意修改文件

  • 相关阅读:
    [二叉树算法]关于层次遍历二叉树的一些算法总结
    数据库事务并发访问产生的问题及四种事务隔离级别
    当relative遇上z-index,阻断事件捕获
    关于CAS操作
    LRU算法与LRUCache
    Hadoop2.x 关于日志文件位置
    推荐系统架构图——我的软件工程概论课设
    文件上传+解析漏洞
    命令执行漏洞
    SSRF漏洞
  • 原文地址:https://www.cnblogs.com/ikuman/p/3683628.html
Copyright © 2020-2023  润新知