• Hadoop源码研究笔记20120725主要组成包


    HADOOP API 主要组成包
    1、org.apache.hadoop.conf
    源码路径:   \src\core\org\apache\hadoop\conf
    作用:定义了系统参数的配置文件处理API

    2、org.apache.hadoop.fs   
    源码路径:  \src\core\org\apache\hadoop\fs
    作用:定义了抽象的文件系统API

    3、org.apache.hadoop.hdfs 
    源码路径:  \src\hdfs\org\apache\hadoop\hdfs
    作用:分布式文件系统的模块实现

    4、org.apache.hadoop.io   
    源码路径   \src\core\org\apache\hadoop\io
    作用:定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操作

    5、org.apache.hadoop.ipc   
    源码路径  \src\core\org\apache\hadoop\ipc
    作用:用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块

    6、org.apache.hadoop.mapred
    源码路径   \src\mapred\org\apache\hadoop\mapred
    作用:MapReduce模块的实现,包括任务的分发调度

    7、org.apache.hadoop.mapreduce
    源码路径  \src\mapred\org\apache\hadoop\mapreduce
    作用:

    8、org.apache.hadoop.metrics 
    源码路径     \src\core\org\apache\hadoop\metrics
    作用:定义了用于性能统计信息的API,主要用于mapred和dfs模块

    9、org.apache.hadoop.record  
    源码路径   \src\core\org\apache\hadoop\record

    10、org.apache.hadoop.tools   
    源码路径   \src\tools\org\apache\hadoop\tools
    作用:定义了通用的工具

    11、org.apache.hadoop.util
    源码路径        \src\core\org\apache\hadoop\util
    作用:定义了公用的API

    12、org.apache.hadoop.filecache
    源码路径 \src\core\org\apache\hadoop\filecache
    作用:提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

    13、org.apache.hadoop.net
    源码路径 \src\core\org\apache\hadoop\net
    作用:封装部份网络功能,如DNS,SOCKET

    14、org.apache.hadoop.security
    源码路径 \src\core\org\apache\hadoop\security
    作用:用户和用户组信息

    15、org.apache.hadoop.http
    源码路径 \src\core\org\apache\hadoop\http
    作用:基于jetty的http servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

    16、org.apache.hadoop.log
    源码路径 \src\core\org\apache\hadoop\log
    作用:提供http访问日志的http servlet

  • 相关阅读:
    ES6 Symbol类型 附带:Proxy和Set
    why updating the Real DOM is slow, what is Virtaul DOM, and how updating Virtual DOM increase the performance?
    React高级指南
    池(Pool)
    计算机网络Intro
    React基础
    CommonJS 与 ES6 的依赖操作方法(require、import)
    webpack初识(biaoyansu)
    关于时间安排贪心算法正确性的证明
    DP总结
  • 原文地址:https://www.cnblogs.com/bobsoft/p/2714488.html
Copyright © 2020-2023  润新知