1.hadoop核心组件—HDFS
■ HDFS的文件被分成块进行存储，块的默认大小128M，块是文件存储处理的逻辑单元
■ HDFS中有两类节点NameNode和DataNode:
NameNode是管理节点，存放文件元数据：(1)文件与数据块的映射表(2)数据块与数据节点的映射表。
DataNode是工作节点，存放数据块
SecondaryNameNode的职责是合并NameNode的edit logs到fsimage文件中
NameNode与DataNode有心跳检测，DataNode定期向NameNode发送心跳消息；SecondaryNameNode定期同步元数据映像文件和修改日志。
客户端从hdfs读取文件时的元数据访问流程，如下图：
客户端向hdfs中上传文件时的元数据访问流程,如下图：
SecondaryNameNode同步元数据映像文件和修改日志，如下图：
上面的这张图片展示了NameNode怎么把元数据保存到磁盘上的。这里有两个不同的文件：
1.fsimage - 它是在NameNode启动时对整个文件系统的快照
2.edit logs - 它是在NameNode启动后，对文件系统的改动序列
■ HDFS中数据管理与容错：对于最常见的 3 个复制块，分布在两个机架内的三个节点。第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。
■ HDFS的特点：
数据冗余，硬件容错
流式的数据访问(一次写入，多次读取，修改是删除之前块，写新块)
存储大文件
■ HDFS的适用性和局限性：
适合数据批量读写，吞吐量高
不适合交互式应用，低延迟很难满足
适合一次写入多次读取，顺序读写
不支持多用户并发写相同文件
■ HDFS实现思想和概念
■ HDFS简单使用：
hadoop fs -mkdir filetest #建立filetest文件夹 hadoop fs -ls #显示HDFS文件列表 hadoop fs -put hello.java filetest/ #将hello.java文件put到filetest目录下 hadoop fs -ls /user/hadoop/filetest #显示filetest目录下的文件 hadoop fs -cat filetest/hello.java #输出filetest目录下hello.java文件内容 hadoop fs -get filetest/hello.java hello2.java #将filetest目录下的hello.java获取到本地，命名为hello2.java hadoop fs -rmr filetest # 删除filetest文件夹 hadoop dfsadmin -report #打印文件系统的信息
2.hadoop核心组件——MapReduce
■ MapReduce思想：分而治之，一个大任务分成多个小的子任务(map),并行执行后，合并结果(reduce)。Job，一个作业，被拆分成多个Task(MapTask、ReduceTask)
MapReduce只是分布式运算框架的一种实现，类似的框架还有很多，比如Storm(流式计算)、Spark(内存迭代计算)。MapReduce是离线批量计算，Storm、Spark是实时计算。
■ 在hadoop1.x中， MapReduce引擎由JobTrackers和TaskTrackers组成
JobTracker承担的任务有：接受任务、计算资源、分配资源、与DataNode进行交流 。
TaskTracker承担的任务有：从JobTracker接收并执行各种命令：运行任务、提交任务、杀死任务等；另一方面，将本地节点上各个任务的状态通过心跳周期性汇报给 JobTracker，这些信息包括两部分：机器级别信息（节点健康情况、资源使用情况等）、任务级别信息(任务执行进度、任务运行状态等）。
TaskTracker与JobTracker和Task之间采用了RPC协议进行通信
■ 在hadoop2.x中， MapReduce引擎由ResourceManager和NodeManaer组成. 这就是Yarn资源调度框架。 Yarn的基本思想是拆分资源管理的功能，作业调度/监控到单独的守护进程。
ResourceManager是全局的，负责对于系统中的所有资源有最高的支配权。ResourceManager有两个组件：调度器和应用程序管理器。
ApplicationMaster 每一个job有一个ApplicationMaster 。AppMaster负责向ResourceManager索要NodeManager执行任务所需要的资源容器，更具体来讲是ApplicationMaster负责从Scheduler申请资源，以及跟踪这些资源的使用情况以及任务进度的监控
NodeManager是基本的计算框架。NodeManager 是客户端框架负责 containers, 监控他们的资源使用 (cpu, 内存, 磁盘, 网络) 和上报给 ResourceManager/Scheduler.
为何要使用yarn？我们看到JobTracker的功能被分散到各个进程中包括ResourceManager和NodeManager：比如监控功能，分给了NodeManager，和Application Master。ResourceManager里面又分为了两个组件：调度器及应用程序管理器。Yarn重构后，JobTracker的功能，被分散到了各个进程中。同时由于这些进程可以被单独部署所以这样就大大减轻了单点故障，及压力。如下图，展示了yarn的工作流程及与hadoop1.x的区别：
3.hadoop生态圈
■ Hive:数据仓库与hql操作mr
■ pig:数据流语言，是hadoop轻量级封装，相对于它，hive是重量级
■ HBase: 基于列存储的nosql数据库，可以用于海量数据存储和实时查询
■ Sqoop:在数据库和HDFS之间高效传输数据的工具
■ Storm: 分布式实时计算，强调实时性，常用于实时性要求较高的地方
■ Spark:基于map reduce算法实现的分布式计算框架
拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法