一、大数据特征
1. 数据体量巨大
2. 数据类型多样（文本，图像，视频，音频）
3. 价值密度低，商业价值高
4.速度要求快，数据输出输入的速度
二、大数据之核心
1.数据的存储
2. 数据的计算（处理）
三、Hadoop
1. Apache开源软件基金会开发的
2. 运行于大规模普通服务器上的
3. 大数据存储、计算、分析
4. 分布式存储系统和分布式运算框架
Hadoop2.0由三部分组成
1. 分布式文件系统HDFS
2. 资源分配系统yarn
3. 分布式运算框架MapReduce
四、Hadoop分布式架构
1. Master/Slave
2.Mater节点
NameNode NN
SecondaryNameNode SNN
ResourceManager rm
3. Slave节点
DodeManager NM
DataNode DN
五、MapReduce 计算框架
1. 将计算移动到数据
硬盘存储成本不断降低
传输速率提升不大
磁头定位时间无提升
2. MapReduce的特性
自动实现分布式并行计算
容错
提供状态监控工具
模型抽象简洁，程序员易用
六、MapReduce函数式编程
Map
映射和分发
Reduce
汇聚和聚合