Flume 初探

Apache 是一个高可用、高可靠的，分布式的海量日志采集、聚合、传输系统，基于流式架构，灵活简单。 Flume 最主要的作用就是实时读取服务器本地磁盘的数据，将数据写入HDFS中。 Flume组成架构详解： Source输入端常用的类型有：spooling directory、exec、avro、syslog、netcat 等 Put事务的流程： doPut：将批数据先写入临时缓冲区putList doCommit：检查channel内存队列是否足够合并 doRollback；channel内存队列空间不足，回滚数据 Channel是位于Source和Sink之间的缓冲区，Flume自带两种channel：MemoryChannel和FileChannel MemoryChannel是基于内存的缓存，在不需要关心数据丢失的情景下使用。 FileChannel是Flume的持久化Channel，系统宕机不会丢失数据。 Take事务： doTake：先将数据取到临时缓冲区takeList doCommit：如果数据发送成功，则清除临时缓冲区的takeList doRollback:数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列 Sink组件常见的目的地包括： HDFS、Kafka、avro、logger、File、自定义。 Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。 Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。 Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。 Agent是一个JVM进程，是flume数据传输的基本单元 Agent主要有3个部分组成，Source、Channel、Sink。