1.Hadoop的前世今生
1）搜索引擎：网络爬虫+索引服务器（生成索引+检索）
2）Doung Cutting写了lucence包(生成索引+检索)
3）Nutch:网络爬虫+索引服务器（lucence封装）
a.分布式存储？？
b.分布式计算？？？
4）2002年谷歌开源了GFS论文，Doung Cutting写了HDFS模块
5）2004年谷歌开源了MapReduce论文，Doung Cutting写了MapReduce模块
6）Nutch0.9版本后将HDFS和MapReduce模块拆分出来，形成了一个大数据处理框架Hadoop
2.Hadoop概述
1)四大模块
common、HDFS、MapReduce、yarn
2）HDFS（Hadoop distributed file system）：分布式文件系统
a.文件系统：文件管理+block块管理
单机文件系统
Windows：FAT16、FAT32、NTFS
Linux：ext2/3/4、VFS
b.分布式文件系统
多个服务器存储文件
c.三大组件
<1>NameNode
①元数据：文件名、目录名、属性（生成时间、权限、副本）
②文件名与block列表映射关系
③block与DateNode列表的映射关系
<2>DataNode:
block块数据、校验和编码
<3>SecondaryNameNode:
分担NameNode压力，合并编辑日志edits和镜像文件fsimage(因为合并操作需要占用很大的资源，影响客户端请求)，合并后将最终的及镜像文件fsimage返回给NameNode进行处理。
3）yarn：资源管理和任务管理
a.四大组件
ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)、Container
- ResourceManager
①处理client请求
②启动/监控ApplicationMaster
③监控NodeManager
④资源分配与调度
- NodeManager
①单个节点上的资源管理
②处理来自ResourceManager的命令
③处理来自ApplicationMaster的命令
- ApplicationMaster
①程序切分
②为应用程序申请资源，并分配任务
③任务控制与容错
- Container
①对任务运行环境的抽象，丰庄路CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息
b.执行流程
图片
<1>client连接RM提交作业，RM给client一个Job ID（注：ApplicationsManager和RESourceScheduler）
<2>RM中的ApplicationManager连接一个RM，让RM创建一个AM处理客户作业请求
<3>AM连接RM中的ApplicationManager申请Nodemanager
<4>AM去ResourceManager给client的作业申请资源（CPU、内存、磁盘、网络）
<5>AM连接NM，发送client job作业程序和申请的资源（CPU、内存、磁盘、网络）
<6>NM启动Container进程运行job的不同任务
<7>Container进程运行状态实时反馈给AM
<8>AM反馈任务状态信息给RM中的ApplicationsManager
<9>client端可以连接RM或AM，查询job的执行情况
- 注：NM启动后去AM上进行注册，会不断发送心跳，说明处于存活状态。
4）MapReduce
a)概述
- 将分布式计算过程分为两个阶段，Map和Reduce
- Map阶段并行处理输入数据
- Reduce阶段对Map结果进行汇总
- Shuffle连接Map和Reduce两个阶段
- Map Task将数据写到本地磁盘
- Reduce Task从每个Map Task上读取一份数据
- 仅适合离线批处理，速度慢
- 具有很好的容错性和扩展性
- 适合简单的批处理方式
- 缺点明显
- 系统开销大，各个Task需要不断申请释放资源，过多使用磁盘导致效率低下等
b) 执行流程
<1>输入文件切片
<2>mapper进程处理切片
<3>shuffle流程
<4>reducer进程聚合数据
<5>输出文件
3.Hadoop生态系统
图片
1）Hadoop:分布式存储、分布式计算、资源调度与任务管理
HDFS、MapReduce、yarn、common
2）Luncene:索引检索工具包
3) Nutch：开源的搜索引擎
4）HBase/Cassandra：基于谷歌的BigTable开源的列式存储的非关系型数据库
5）Hive：基于SQL的分布式计算引擎，同时是一个数据仓库
Pig：基于Pig Latin脚本的计算引擎
6）Thrift/Avro:RPC框架，用于网络通信
7）BigTop：项目测试、打包、部署
8）Oozie/Azakban：大数据的工作流框架
9）Chukwa/Scribe/Flume：数据收集框架
10）Wgirr：部署为云服务的库
11）Sqoop：数据迁移工具
12）Zoopkeeper：分布式协调服务框架
13）HAMA：图计算框架
14）Mahout：机器学习的框架，封装了很多的算法
4.hadoop环境搭建
1）三个环境
单机环境、伪分布式环境、分布式环境
2）三个分支
Apache版本
cdh版本
hdp版本
3）
4）
5）Hadoopde安装配置
a.单机模式
b.伪分布式
<1>HDFS
④启动HDFS进程
sbin/satrt-dfs.sh
或
sbin/hadoop-damon.sh start namenode
sbin/hadoop-damon.sh start datanode
sbin/hadoop-damon.sh start secondarynamenode
⑤浏览器访问
http://<主机名>:50070
注：50070是http的协议端口号，8020是RPC tcp协议的端口号
<2>YARN
①
②
③启动YARN进程：Resourcemanager、NodeManager
sbin/start-yarn.sh
或
sbin/yarn-damon.sh satrt resourcemanager
sbin/yarn-domon.sh start nodemanager
④浏览器访问
http://<主机名>：8088
注：8032是RPC tcp协议的端口号，8088是http协议的端口号
c.分布式环境（Distributed)(多个服务器运行Hadoop进程)
①机器规格
机器1：NameNode DataNode NodeManager（NM）
机器2： DataNode ResourceManager NodeManager(NM)
机器3：DataNode SecondaryNameNode NodeManager(NM)
②克隆服务器
VMware克隆/复制
注：机器2/3的MAC地址需要重新生成
拷贝源文件
③修改网卡并配置
修改网卡
④ntp时间服务器
1）作用：
同步三个时间服务器的时间，保持服务器时间的一致
注：机器1当成时间服务器，机器2/3同步机器1的时间
2）机器1上配置ntp时间服务器
vim /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes
vim /etc/ntp.conf
server xxx
server 127.127.1.0
fudge 127,.127.1.0 xxx
restrict 192.168.83.0 xxx
3)重启ntp服务
service ntpd reatsrt
4)机器1设置时间
date -s yyyy-mm-dd
date -s hh:mm:ss
5)机器2/3同步时间
手动同步：
/usr/sbin/ntpdate <主机名>
定时同步：
crontab -e:
0-59/10 * * * * /usr/sbin/ntpdate master
注：crontab格式：分 小时 天 月 周 <command>
6)Hadoop配置文件配置
①core-site.xml
namenode访问地址
②yarn-site.xml
secondarynamenode访问地址
③slaves
从节点的主机名
注：scp -r software/hadoop-2.7.3/etc/hadoop root@slave1:software/hadoop-2.7.3/etc/hadoop
scp -r software/hadoop-2.7.3/etc/hadoop root@slave1:software/hadoop-2.7.3/etc/hadoop
7)SSH免密码登陆
生成公钥/私钥对
ssh-keygen -t rsa
拷贝公钥至远程主机或本地authorized_keys文件
ssh-copy-id<主机名>
5.初识MapReduce
1）启动Hadoop服务器
sbin/start-all.sh
2)浏览器访问
HDFS http://master:50070
YARN http://master:18088
3)各个指标
a.Cluster Metrics
集群指标：app(提交、排队、运行、完成）、Container个数、资源（内存、CPU）
b.Cluster Nodes Metrics
机器状态:active、decommissioning、decommisioned、lost、unhealth、reboot
c.Scheduler Metrics
Tapacity Type、Scheduing Resource Type、MInimum Allocation、Maxinum Allocation
d.作业指标
4）聚合日志
a.含义：
①分布式计算作业放到NodeManager运行，日志信息放在Nodemanager本地目录：
yarn.nodemanager.http.logs:${yarn.log.dir}/userlogs
②通过配置将本地日志放到HDFS服务器上，即聚合日志的概念
yarn.nodemanager.log.retain-seconds
当不启用日志聚合此参数生效，日志文件保存在本地的时间，单位为s
yarn.nodemanager.remote-app-log-dir
当应用程序运行结束后，日志被转移到的HDFS目录（启用日志聚集功能时有效）， 修改为保存的日志文件夹
yarn.nodemanager.remote-app-log-dir-suffix
远程日志目录子目录名称（启用日志聚集功能时有效）
b.配置yarn-site.xml
<!--启用日志聚合功能>
<property>
<name> yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!--启用多长时间>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>3600</value>
</property>
5）历史服务器
a.配置项
mapreduce.jobhistory.address jobhistory的rpc访问地址
mapreduce.jobhistory.webapp.address Jobhistory的http访问地址
启动 sbin/mr-jobhistory-daemon.sh start historyserver
WEB UI http://<主机名>：19888
停止 sbin/mr-jobhistory-daemon.sh stop historyserver