一、Hdfs 架构
访问 (1) ----nameNode
(2)
|
|
|
dataNode
每隔一段时间secondaryNameNode会将fsimage和edits进行合并产生心得fsimage；
1、Hdfs 适用场景
数据密集型并行计算
计算密集并行计算
2、不适合的场景
HDFS不合适大量小文件的储存
HDFS适用于高吞吐量，不适合低时间延迟的访问
流式读取的方式、不适合多用户写入一个文件（一个文件同时只能被一个客户端写），以及任意位置写入（不支持随机写）；
不适合用mapreduce方式进行计算的场景；
二、MapReduce 编程
MapReduce借用的函数式编程的概念，google发明的一种分布式的数据处理模型。Hadoop的坐着Doug Cutting 根据这篇论文复制了google的分布式文件系统gfs和mapReduce，
对应的hadoop的hdfs和mapreduce。
MapReduce模型是整个大数据技术的核心思想，hdfs的架构是为了方便mapreduce而设计，hive、pig等软件最后总是通过调用mapreduce运行
三、Hive体系结构
Hive不是数据库、仅仅是数据仓库。是建立在hadoop上的数据仓库基础框架，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL)