大数据——基础知识

1、什么是大数据?

数据的“5V”特性来进行阐述：

一、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

二、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

三、Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

四、Velocity：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

五、Veracity：数据的准确性和可信赖度，即数据的质量。

2、hadoop的集群安装过程?

1. 基础集群环境准备包括：

系统配置：默认启动级别、创建普通用户并配置sudoer权限、关闭防火墙和selinux

网络配置：网关、ip、主机名、主机映射

时间配置：时区统一、时间同步

安全配置：免密登录

1. 软件安装：

获取安装包：上传安装包，并解压到相关目录

配置环境变量：JAVA_HOME和HADOOP_HOME

Hadoop 6个配置文件修改：

hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,slaves

3、分发安装包到各个节点，Hadoop 集群的每个节点都需要安装Hadoop 安装包

4、在HDFS 主节点上执行命令进行初始化namenode

5、在HDFS 上的主节点启动HDFS

6、在YARN 主节点启动YARN，要求在YARN 主节点进行启动

7、测试集群是否安装成功

3、hdfs里的 ?edits和 ?fsimage作用？

1）fsimage文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息；

2）edits文件存放的是Hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所以写操作首先会被记录到edits文件中。

fsimage和edits文件都是经过序列化的，在NameNode启动的时候，它会将fsimage文件中的内容加载到内存中，之后再执行edits文件中的各项操作，使得内存中的元数据和实际的同步，存在内存中的元数据支持客户端的读操作。

NameNode起来之后，HDFS中的更新操作会重新写到edits文件中，因为fsimage文件一般都很大（GB级别的很常见），如果所有的更新操作都往fsimage文件中添加，这样会导致系统运行的十分缓慢，

但是如果往edits文件里面写就不会这样，每次执行写操作之后，且在向客户端发送成功代码之前，edits文件都需要同步更新。

如果一个文件比较大，使得写操作需要向多台机器进行操作，只有当所有的写操作都执行完成之后，写操作才会返回成功，这样的好处是任何的操作都不会因为机器的故障而导致元数据的不同步

4、当小文件数量过多时，如何合并小文件？

当每个小文件数据量比较小的时候，可以通过命令的方式进行小文件的合并如：

hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt

当数据量比较大的时候建议使用MR进行小文件的合并

5、hadoop出现文件块丢失怎么处理？

首先需要定位到哪的数据块丢失，可以通过查看日志进行检查和排除，找到文件块丢失的位置后，如果文件不是很重要可以直接删除，然后重新复制到集群上一份即可，如果删除不了，每一个集群都会有备份，需要恢复备份

6、hadoop的守护线程？Namenode的职责？

五个守护进程：

SecondaryNameNode

ResourceManager

NodeManager

NameNode

DataNode

Namenode：主节点，存储文件的元数据（文件名，文件目录结构，文件属性——生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。周期性的接受心跳和块的状态报告信息（包含该DataNode上所有数据块的列表）

若接受到心跳信息，NN认为DN工作正常，如果在10分钟后还接受到不到DN的心跳，那么NN认为DN已经宕机

这时候NN准备要把DN上的数据块进行重新的复制。

块的状态报告包含了一个DN上所有数据块的列表，blocks report 每个1小时发送一次

7、写出你在工作中用过的hdfs的命令

如： cat countgetlsput mr(rm -r)mv(cp)等等........

8、用命令显示所有的datanode的健康状况

hadoop?dfsadmin -report

9、如何离开安全模式

hadoop?dfsadmin?-safemode?leave

10、如何快速杀死一个job

1、执行 hadoop job -list 拿到 job-id

2、hadoop job -kill job-id

也可以使用yarn 命令：yarn application -kill appId

11、Hdfs的写数据流程？

1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求

2、Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；

3、当客户端开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data queue（数据队列）”的形式管理这些packets，并向Namenode申请blocks，获取用来存储replicas的合适的datanode列表，列表的大小根据Namenode中replication的设定而定；

4、开始以pipeline（管道）的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个datanode，该datanode把该packet存储之后，再将其传递给在此pipeline中的下一个datanode，直到最后一个datanode，这种写数据的方式呈流水线的形式。

5、最后一个datanode成功存储之后会返回一个ack packet（确认队列），在pipeline里传递至客户端，在客户端的开发库内部维护着"ack queue"，成功收到datanode返回的ack packet后会从"ack queue"移除相应的packet。

6、如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持replicas设定的数量。

7、客户端完成数据的写入后，会对数据流调用close()方法，关闭数据流；

12、有一个很大的文件，内存装不下，如何实现去重?

对文件的每一行计算hash值，按照hash值把该行内容放到某个小文件中，假设需要分成100个小文件，则可以按照（hash % 100）来分发文件内容，然后在小文件中实现去重就可以了。

13、hdfs 的数据压缩算法？

(1) Gzip 压缩

优点：压缩率比较高，而且压缩/解压速度也比较快； hadoop 本身支持，在应用中处理gzip 格式的文件就和直接处理文本一样；大部分 linux 系统都自带 gzip 命令，使用方便.

缺点：不支持 split。

应用场景： 当每个文件压缩之后在 130M 以内的（1 个块大小内），都可以考虑用 gzip压缩格式。 例如说一天或者一个小时的日志压缩成一个 gzip 文件，运行 mapreduce 程序的时候通过多个 gzip 文件达到并发。 hive 程序， streaming 程序，和 java 写的 mapreduce 程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。

(2) Bzip2 压缩

优点：支持 split；具有很高的压缩率，比 gzip 压缩率都高； hadoop 本身支持，但不支持 native；在 linux 系统下自带 bzip2 命令，使用方便。

缺点：压缩/解压速度慢；不支持 native。

应用场景： 适合对速度要求不高，但需要较高的压缩率的时候，可以作为 mapreduce 作业的输出格式； 或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持 split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。

(3) Lzo 压缩

优点：压缩/解压速度也比较快，合理的压缩率；支持 split，是 hadoop 中最流行的压缩格式；可以在 linux 系统下安装 lzop 命令，使用方便。

缺点：压缩率比 gzip 要低一些； hadoop 本身不支持，需要安装；在应用中对 lzo 格式的文件需要做一些特殊处理（为了支持 split 需要建索引，还需要指定 inputformat 为 lzo 格式）。

应用场景： 一个很大的文本文件，压缩之后还大于 200M 以上的可以考虑，而且单个文件越大， lzo 优点越越明显。

(4) Snappy 压缩

优点：高速压缩速度和合理的压缩率。

缺点：不支持 split；压缩率比 gzip 要低； hadoop 本身不支持，需要安装；

应用场景： 当 Mapreduce 作业的 Map 输出的数据比较大的时候，作为 Map 到 Reduce的中间数据的压缩格式；或者作为一个 Mapreduce 作业的输出和另外一个 Mapreduce 作业的输入。

14、datanode 在什么情况下不会备份？

如果设置备份数为1，就不会再去备份

15、三个 datanode 当有一个 datanode 出现错误会怎样？

出现错误的时候无法和namenode进行通信，namenode要去确认namenode是不是宕掉了，这段时间称作超时时长，hdfs默认时间是10分钟30秒，确认该datanode宕机后，hdfs的副本数会减1，然后namenode会将宕机的datanode的数据复制到其他机器上

16、描述一下 hadoop 中，有哪些地方使用了缓存机制，作用分别是什么？

缓存jar包到执行任务的节点的classpath中，

缓存普通文件到task运行节点的classpath中

环形缓存区，map阶段后会往本地溢写文件，他们之间会有一个环形缓存区，可以提高效率

17、有200M的文件 ?写入HDFS是先写128M ?复制完之后再写72M ?还是全部写完再复制？

HDFS上在写入数据的时候，首先会对数据切块，然后从客户端到datanode形成一个管道，在至少将一个文件写入hdfs上后，表示文件写入成功，然后进行复制备份操作，所以是全部写完再复制

18、介绍Hadoop中RPC协议，以及底层用什么框架封装的？

用于将用户请求中的参数或者应答转换成字节流以便跨机传输。

函数调用层：函数调用层主要功能是：定位要调用的函数，并执行该函数，Hadoop采用了java的反射机制和动态代理实现了函数的调用。

网络传输层：网络传输层描述了Client和Server之间消息的传输方式，Hadoop采用了基于TCP/IP的socket机制。

服务端处理框架：服务端处理框架可被抽象为网络I/O处理模型，她描述了客户端和服务器端信息交互的方式，她的设计直接决定了服务器端的并发处理能力。常见的网络I/O模型有阻塞式I/O，非阻塞式I/O、事件驱动式I/O等，而Hadoop采用了基于reactor设计模式的事件驱动I/O模型

19、hadoop1.x和2.x架构上的区别?

（1）Hadoop 1.0

Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。

（2）Hadoop 2.0

Hadoop 2.0即第二代Hadoop，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时它彻底解决了NameNode 单点故障问题；针对Hadoop 1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序，进而诞生了全新的通用资源管理框架YARN。基于YARN，用户可以运行各种类型的应用程序（不再像1.0那样仅局限于MapReduce一类应用），从离线计算的MapReduce到在线计算（流式处理）的Storm等。Hadoop 2.0对应Hadoop版本为Apache Hadoop 0.23.x、2.x和CDH4。

（3）MapReduce 1.0或MRv1

MapReduce 1.0计算框架主要由三部分组成，分别是编程模型、数据处理引擎和运行时环境。它的基本编程模型是将问题抽象成Map和Reduce两个阶段，其中Map阶段将输入数据解析成key/value，迭代调用map()函数处理后，再以key/value的形式输出到本地目录，而Reduce阶段则将key相同的value进行规约处理，并将最终结果写到HDFS上；它的数据处理引擎由MapTask和ReduceTask组成，分别负责Map阶段逻辑和Reduce阶段逻辑的处理；它的运行时环境由（一个）JobTracker和（若干个）TaskTracker两类服务组成，其中，JobTracker负责资源管理和所有作业的控制，而TaskTracker负责接收来自JobTracker的命令并执行它。该框架在扩展性、容错性和多框架支持等方面存在不足，这也促使了MRv2的产生。

（4）MRv2

MRv2具有与MRv1相同的编程模型和数据处理引擎，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的计算框架MapReduce。它的运行时环境不再由JobTracker和TaskTracker等服务组成，而是变为通用资源管理系统YARN和作业控制进程ApplicationMaster，其中，YARN负责资源管理和调度，而ApplicationMaster仅负责一个作业的管理。简言之，MRv1仅是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MapReduce。

（5）YARN

YARN是Hadoop 2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度。YARN不仅限于MapReduce一种框架使用，也可以供其他框架使用，比如Tez（将在第9章介绍）、Spark、Storm（将在第10章介绍）等。YARN类似于几年前的资源管理系统Mesos（将在12章介绍）和更早的Torque（将在6章介绍）。由于YARN的通用性，下一代MapReduce的核心已经从简单的支持单一应用的计算框架MapReduce转移到通用的资源管理系统YARN。

（6）HDFS Federation

Hadoop 2.0中对HDFS进行了改进，使NameNode可以横向扩展成多个，每个NameNode分管一部分目录，进而产生了HDFS Federation，该机制的引入不仅增强了HDFS的扩展性，也使HDFS具备了隔离性。

20、Hdfs回收站（防误删）

默认是关闭的，需要手动打开，修改配置 core-site.xml

添加:

<property>

??? ? <name>fs.trash.interval</name>

???? <value>1440</value>

<!-- 在回收站停留時間 单位是分钟 -->

</property>

<property>

???????????? <name>fs.trash.checkpoint.interval</name>

???????? <value>1440</value>

<!-- 檢查回收站的時間間隔 小于等于上面的值-->

</property>

如果打开了回收站，hdfs会为每个用户都建一个回收站，用户删除文件时，文件并不是彻底地消失了，

而是mv到了/user/用户名/.Trash/这个文件夹下,在一段时间内，用户可以恢复这些已经删除的文件。

如果用户没有主动删除，那么系统会根据用户设置的时间把文件删除掉，用户也可以手动清空回收站，

这样删除的文件就再也找不回来了

JavaAPI: ???Trash trash = new Trash(fs, conf);

??????????trash.moveToTrash(new Path("/xxxx"));

Shell: 如果你想直接删除某个文件，而不把其放在回收站，就要用到-skipTrash命令

例如：hadoop fs -rm -r -skipTrash /test

查看回收站：hadoop fs -ls /user/hadoop/.Trash/Current