• Hadoop核心思想


    Hadoop:适合大数据的分布式存储与计算平台
    关键:平台
    功能:存储和计算
    方法:分布式

    作者:Doug Cutting
    受Google三篇论文启发

    ---------------------------------------------------------
    两大核心支持:
      (1)分布式文件系统 HDFS(Hadoop Distributed File System)
      (2)并行计算框架 MapReduce
    数据来源HDFS

    HDFS的架构
    主从结构:
      主节点,只有一个:namenode
      从结点,有很多个:datanode(数据结点)
    namenode负责
      (1)接收用户操作请求
      (2)维护文件系统的目录结构
      (3)管理文件与block之间关系,block与datanode之间关系
    datanode负责
      (1)存储文件
      (2)文件分成block(分块存储)存储在磁盘上
      (3)为保证数据安全,文件会有多个副本

    MapReduce的架构
    主从结构
      主节点,只有一个:JobTracker
      从节点,很多个:TaskTrackers
    JobTracker负责:
      (1)接收客户提交的计算任务
      (2)把计算任务分给TaskTrackers执行
      (3)监控TaskTrackers的执行情况
    TaskTrackers负责:
      (1)执行JobTracker分配的计算任务

  • 相关阅读:
    孙权劝学
    劝学
    为学
    字符串的全排列
    剑指offer面试题3二维数组中的查找
    如何正确安装软件
    写给自己的话
    Linux常用命令
    第三届华为杯
    D^3ctf两道 pwn
  • 原文地址:https://www.cnblogs.com/angmu/p/4097628.html
Copyright © 2020-2023  润新知