flume介绍

前言

本文通过对flume的架构，数据链路和数据的可靠性来分析flume的原理，并在文末提供了demo（官网搬运）。

架构

flume可以理解为是一个ETL工具，本身是单点的，也就是只有agent，没有server，但是通过强大的source-channel-sink-source…机制，可以通过在多个节点上起agent构成一个DAG，从而形成分布式形态。参考图1，图2（其他图就不贴了，参考官网文档），flume支持在任意节点启动任意数量的agent，并且agent与agent之间可以通过rpc连接。需要注意的是，1个source可以下发数据到多个channel（通过`ChannelSelector`，最常见的就是广播，或者动态路由），1个sink只能从1个channel获取数据，但是多个sink又可以从1个channel拉取数据（通过`SinkProcessor`）。这样的DAG设计意图很明显，source生产数据通常都是比sink处理数据快的，所以channel起到数据缓冲作用，并且通过事务机制保证数据的可靠性。试想一下场景，假如数据量很大，1个source消费速度跟不上，也就是说达到了单进程的性能瓶颈，那么可以启动多个agent；假如数据量一般，1个source就足够，但是处理很复杂比如IO密集型的操作，那么可以通过多sink的方式从channel拉数据，也就是sink端做负载均衡，比如`LoadBalancingSinkProcessor`。flume这样的设计很好的满足了各种场景需求。

 

图1

图2

数据链路

参考图3，flume的三个核心组件的数据链路是基于推送和拉取模式，其中Channel可以理解为列队，也是实现数据可靠性的关键组件。比如常见的，采用FileChannel之类落盘的channel场景中，当source推送数据到channel失败，那么就会触发source重试，当sink拉取数据操作失败，那么回通知channel回滚，直到sink操作成功才提交之前的那些数据，从而使得channel移除那些已经被成功处理的数据。

图3

flume的组件也不仅仅只有source，channel，sink这三个。参考图4，完整的数据链路还有ChannelProcessor和SinkeProcessor。ChannelProcessor主要功能有两个，1.对事件进行拦截，提供修改事件的入口； 2.对channel的选择，我们知道1个source可以发送数据到多个channel，但是具体发送到哪些channel呢？这里就是选择器决定了source发送到哪些channel。SinkProcessor的功能其实也类似，由于一个channel的事件可以被多个sink拉取，那么SinkProcessor决定了sink拉取的策略，这里flume衍生出了sinkGroup的概念，一般情况下，1个sink对应1个线程，而sinkGroup可以包含多个sink共用1个线程。

 

图4

数据可靠性

数据可靠性是非常重要的一个特性，所以拉出来单独做一下说明。

flume基于Channel和Transaction接口实现数据不丢失的特性。其中channel负责对数据持久化，维护了所有没有被事务提交的事件，Transaction负责实现事务语义，类似jdbc的事务语法，如下

Transaction tx = ch.getTransaction();
try {
  tx.begin();
  ...
  // ch.put(event) or ch.take()
  ...
  tx.commit();
 } catch (ChannelException ex) {
  tx.rollback();
   ...
 } finally {
  tx.close();
}

通过这两个接口的保证，flume可以实现at leaset once的语义，这是由于sink可以出现rpc超时等一些问题，导致误以为失败导致事件被重复拉取。这个问题可以通过对事件分配唯一id，再通过其他大数据组件去重。

总结

flume提供一个灵活的设计思路，可以通过agent组合构建出符合自己需求的DAG，有点类似storm，但是程序更加轻量。并且提供了很多开箱即用的插件，可以说是很良心了。

demo

下面通过一个案例来了解flume，思路是构建基于netcat的agent，然后通过telnet进行验证。

# 创建一个新的flume配置文件

vi example.conf

# example.conf: A single-node Flume configuration

 

# Name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# Describe/configure the source

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

 

# Describe the sink

a1.sinks.k1.type = logger

 

# Use a channel which buffers events in memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

# 启动flume agent，并开启http的度量监控，可以通过http请求获取相关度量数据

flume-ng agent --name a1 --conf-file example.conf -Dflume.root.logger=INFO,console -Dflume.monitoring.type=http -Dflume.monitoring.port=9999

# 通过telnet进行调试

telnet localhost 44444

# 发现消息，可以看到flume agent可以成功接收

参考

// flume官网文档以及源码

http://flume.apache.org/FlumeUserGuide.html

// 书乃本也~

《Flume  构建高可用、可扩展的海量日志采集系统》