Flume官网:http://flume.apache.org/
Flume和Kafaka使用上的区别:
采集的数据放到HDFS为MR进行使用,选择Flume
Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成
每一个agent相当于一个数据传递员,内部有三个组件:
a) Source:采集源,用于跟数据源对接,以获取数据
b) Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel:angent内部的数据传输通道,用于从source将数据传递到sink
Source 到 Channel 到 Sink之间传递数据的形式是Event事件;Event事件是一个数据流单元。
单级agent采集数据:
多级agent串联: