2.并行计算技术
2.1 Hadoop
2.1.1 简介
起初开源的网络搜索引擎 HDFS:文件相关 MapReduce:集成算法
2.1.2 初探Hadoop
Hadoop Common + HDFS + MapReduce
2.1.3 Hadoop架构
HDFS:NameNode+DataNode 分布式文件系统、支持冗余备份数据、机架感知技术
MapReduce:是一种为多台计算机并行处理大量数据而设计的并行计算框架、关注调度任务,并监视任务的执行状况,如果执行失败,重新执行该任务。
包含独立的主服务器JobTracker(工作分配服务器),与DataNode安装在一起的从服务器TaskTracker(任务执行服务器 )
2.2 Platform Symphony
2.3云数据库
2.3.1 HBase
HBase是为Hadoop开发的数据库,是一个稀疏式的,分布式的,持久化存储的,多维排序图(Map)。