• 初识Apache NiFi


    一. NiFi介绍

    Apache NiFi支持功能强大且可扩展的数据路由,转换和系统中介逻辑的有向图。 Apache NiFi的一些高级功能和目标包括:

    • 基于Web的用户界面
      • 设计,控制,反馈和监控之间的无缝体验
    • 高度可配置
      • 容忍损失与保证交付
      • 低延迟与高吞吐量
      • 动态优先级
      • 可以在运行时修改流程
      • 备压
    • 数据来源
      • 跟踪从头到尾的数据流
    • 专为扩展而设计
      • 构建自己的处理器等等
      • 实现快速开发和有效测试
    • 安全
      • SSL,SSH,HTTPS,加密内容等
      • 多租户授权和内部授权/策略管理

    二. 用户界面介绍

     

    介绍NiFI界面之前先了解NiFi的基本对象FlowFile

    FlowFile

    表示在系统中移动的每个对象,对于每个对象,NiFi跟踪键/值对属性字符串的映射及其相关的零个或多个字节的内容。

    简单理解:FlowFile就是文件,见图中红色所圈queue树为2,大小为0bytes;FlowFile是如何产生的呢?选中GenerateFlowFile右键执行后产生的。

    选择队列右键选择list queue,然后就看到了2个FlowFile的相关信息了

    1. Processor(处理器)

    介绍:处理器是真正起作用的。 处理器对系统之间的数据路由,转换或中介进行某种组合。 处理器可以访问给定FlowFile及其内容流的属性。

               处理器可以在给定的工作单元中对零个或多个FlowFiles进行操作,并提交工作或回滚。

    使用:选中Processor图标拖入画布中,如图所示,然后选择你所需要使用的processor,processor的使用示例见下篇文章

    2.Input Port(输入端口)

    用于Process Group和Remote Process Group

    在同一个Process Group中不需要使用Input Port,而在不同Process Group之间进行FlowFile传输时就需要使用到Input Port

    见Process Group的例子

    3.output Port(输出端口)

    用于Process Group

    在同一个Process Group中不需要使用Input Port,而在不同Process Group之间进行FlowFile传输时就需要使用到Input Port

    见Process Group的例子

    4.Process Group(进程组)

    介绍:处理组是一组特定的进程及其连接,可以通过输入端口接收数据并通过输出端口发送数据。以这种方式,处理组允许仅通过组合其他组件来创建全新组件。

    简单说就是对多个processor分成同一个组,根据你自己的业务或功能分组

    使用:比如说我要从hdfs上获取一个目录下的所有文件数据(josn)同步到mysql库中,选中Process Group拖入画布中,如同所示:

    1.进入GetHdfsFiles处理组,该组是获取hdfs上的数据,使用了ListHdfs、FetchHdfs、splitText处理器及Output Port

    2.进入syncDataToMysql处理组,该组是把数据插入mysql中,使用了Input Port及ConvertJSONToSQL、PutSQL处理器

    5.Remote Process Group(远程进程组)

     不同NiFi单节点或集群之间的FlowFile传输,同一NiFi集群单节点的FlowFile分发到多个节点

    6.Funnel(漏斗)

    把多个输入合入到一条流中

    7.Template(模板)

    选择已导入到NiFi上的模板(XML文件)

    8.Label(标签)

    给Processor、Process Group、Remote Process Group等等打标签做说明

  • 相关阅读:
    Redis详解
    Linux常用命令
    sqlserver 游标写法
    Flask总结
    HTTPS协议
    Django REST framework 简介
    Cookie和session
    利用rest-framework编写逻辑关系
    vuex
    jQuery和Bootstrap的优点
  • 原文地址:https://www.cnblogs.com/zxbdboke/p/11295136.html
Copyright © 2020-2023  润新知