1.Hadoop的主要组成部分
HDFS:分布式文件存储(海量数据的存储)
MapReduce:分布式计算(海量数据的计算和分析)
YARN:资源管理调度(多个任务排队执行还是同时执行)
2.HDFS:解决海量数据的存储
HDFS由3种主要的节点构成:
1) NameNode 主节点:用来存储数据的存放位置等元数据(不存放数据)
•接收用户操作请求
•维护文件系统的目录结构
•管理文件与block之间关系,block与datanode之间关系
2) DataNode 从节点:只用来存储数据
•存储文件
•文件被分成block存储在磁盘上
•为保证数据安全,文件会有多个副本
3) SecondaryNameNode 辅助NameNode运行,将NameNode产生的元数据持久化到磁盘上
3.MapReduce的计算模型
4.Hadoop集群的无密登录
配置ssh的公钥