[大数据]Hadoop简述

1 Hadoop：发展沿革

摘要：1个人（Doug Cutting）、2个公司(Google、Cloudera)

1.1 渊源

• Hadoop项目
  • 最初开发者/创始者： Doug Cutting（道格·卡丁，现任 Apache 基金会的主席)
    • 1985年 毕业于 美国斯坦福大学
    • 1997年 发布 Lucene 项目
    • 2004年 发布 Nutch 项目
    • 2006年 发布 Hadoop项目(Hadoop从Nutch中独立，以便支持MapReduce与HDFS的发展)
    • 2006年2月 受邀加入 Yahoo
    • 2009年 以首席架构师身份加入 Cloudera(2008.6.27成立/2017年上市)
    • 20xx年 当选 Apache 基金会主席
  • 命名由来：Doug Cutting 起先给他孩子的1个棕色的大象的玩具的名字（简短、容易发音、易于拼写）
  • 最初的模块： HDFS 与 MapReduce （后期不断加入Hbase、Hive等子模块项目，直至最终Hadoop泛化成为云计算与大数据产业链中的1个超大概念）
  • 灵感的起源：Google的3篇论文
    • 2003年 The Goolge File System
      • Google File System论文翻译 - CSDN
    • 2004年 MapReduce：Simplified Data Processing on Large Clusters
    • 2006年 Bigtable: A Distributed Storage System for Structured Data

1.2 发展沿革

1.3 Cloudera公司

2 Hadoop：体系架构与软件生态

• 黑框：非Hadoop原本组件
• 红框：Hadoop核心组件

3 Hadoop：模块构成

• Hadoop Common：支撑其他模块
• Hadoop Distributed File System ：分布式文件系统（对应用系统提供高吞吐量的访问）
• Hadoop Yarn：资源管理和任务调度的框架
• Hadoop MapReduce：能够并行处理大数据集的Yarn最核心、最基本模块

4 推荐文献

• 书籍
  • 2013 《大数据时代》 维克托·迈尔-舍恩伯格/肯尼斯·库克耶(著) 周涛等译 非技术语言描述
    • 2位作者系“大数据”概念的最早提出者(2008年 提出)
  • 2014 《数据之巅》 阿里巴巴副总裁涂子沛
  • 2016 《为数据而生》电子科技大学计算机学院周涛教授（第1本书的译者）
  • 2017 《Hadoop大数据开发 - 案例教程与项目实战》 人民邮电出版社
• 博文
  • 被仰望和遗忘过的Cloudera，能否王者归来？ - 搜狐新闻
  • 企业科技50大强人排行榜：钱伯斯居首 - 腾讯数码
    • No.3 Linus Torvalds (Linux之父)
    • No.13 Ellison（Oracle 联合创始人 + CEO）
    • No.23 Doug Cutting（Hadoop之父）