• Flume(2)组件概述与列表


    上一节搭建了flume的简单运行环境,并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。

    一、flume的基本架构图:

    下面这个图基本说明了flume的作用,以及flume中的基本组件:source、channel、sink。

    Source:完成对日志数据的收集,分成transtion 和 event 打入到channel之中。  
    Channel:主要提供一个队列的功能,对source提供中的数据进行简单的缓存。  
    Sink:取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。

    image

    image

    二、source列表:

    image

    简要说明:

    1、Avro Source:支持Avro协议(实际上是Avro RPC),内置支持

    2、Thrift Source:支持Thrift协议,内置支持

    3、Exec Source | 基于Unix的command在标准输出上生产数据

    4、JMS Source:从JMS系统(消息、主题)中读取数据,ActiveMQ已经测试过

    5、Spooling Directory Source:监控指定目录内数据变更

    6、Twitter 1% firehose Source:通过API持续下载Twitter数据,试验性质

    7、Netcat Source:监控某个端口,将流经端口的每一个文本行数据作为Event输入

    8、Sequence Generator Source:序列生成器数据源,生产序列数据

    9、Syslog Sources:读取syslog数据,产生Event,支持UDP和TCP两种协议

    10、HTTP Source:基于HTTP POST或GET方式的数据源,支持JSON、BLOB表示形式

    11、Legacy Sources:兼容老的Flume OG中Source(0.9.x版本)

    三、channel列表:

    image

    四、sink列表:

    image

    五、processor列表:

    image

    六、interceptor列表:

    image

    七、其他组件列表:

    image

  • 相关阅读:
    Requests库常用方法及其详解
    MacOS下搭建python环境
    Requests库与HTTP协议
    MacOS下安装Requests库及使用
    Swing State: Consistent Updates for Stateful and Programmable Data Planes
    Transparent Flow Migration for NFV
    2018软工团队选题报告
    Traffic Steering for Service Function Chaining
    2018年软工第二次结对作业
    【数字图像处理】Tencent视频团队讲座记录
  • 原文地址:https://www.cnblogs.com/tq03/p/5151954.html
Copyright © 2020-2023  润新知