HADOOP API 主要组成包
1、org.apache.hadoop.conf
源码路径: \src\core\org\apache\hadoop\conf
作用:定义了系统参数的配置文件处理API
2、org.apache.hadoop.fs
源码路径: \src\core\org\apache\hadoop\fs
作用:定义了抽象的文件系统API
3、org.apache.hadoop.hdfs
源码路径: \src\hdfs\org\apache\hadoop\hdfs
作用:分布式文件系统的模块实现
4、org.apache.hadoop.io
源码路径 \src\core\org\apache\hadoop\io
作用:定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操作
5、org.apache.hadoop.ipc
源码路径 \src\core\org\apache\hadoop\ipc
作用:用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块
6、org.apache.hadoop.mapred
源码路径 \src\mapred\org\apache\hadoop\mapred
作用:MapReduce模块的实现,包括任务的分发调度
7、org.apache.hadoop.mapreduce
源码路径 \src\mapred\org\apache\hadoop\mapreduce
作用:
8、org.apache.hadoop.metrics
源码路径 \src\core\org\apache\hadoop\metrics
作用:定义了用于性能统计信息的API,主要用于mapred和dfs模块
9、org.apache.hadoop.record
源码路径 \src\core\org\apache\hadoop\record
10、org.apache.hadoop.tools
源码路径 \src\tools\org\apache\hadoop\tools
作用:定义了通用的工具
11、org.apache.hadoop.util
源码路径 \src\core\org\apache\hadoop\util
作用:定义了公用的API
12、org.apache.hadoop.filecache
源码路径 \src\core\org\apache\hadoop\filecache
作用:提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度
13、org.apache.hadoop.net
源码路径 \src\core\org\apache\hadoop\net
作用:封装部份网络功能,如DNS,SOCKET
14、org.apache.hadoop.security
源码路径 \src\core\org\apache\hadoop\security
作用:用户和用户组信息
15、org.apache.hadoop.http
源码路径 \src\core\org\apache\hadoop\http
作用:基于jetty的http servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志
16、org.apache.hadoop.log
源码路径 \src\core\org\apache\hadoop\log
作用:提供http访问日志的http servlet