• Apache Nifi 开发


          Apache NiFi是由美国过国家安全局(NSA)贡献给Apache基金会的开源项目。其设计目标是自己主动化系统间的数据流。基于其工作流式的编程理念。NiFi很易于使用,强大。可靠及高可配置。

    两个最重要的特性是其强大的用户界面及良好的数据回溯工具(官网吹的)微笑

          nifi 使用起来还比較方便。基于web 的控制界面可以比較好的管理和控制数据流转。数据处理的业务流程也比較明白,以下说一下 怎样定制开发一个基于我们自身业务的组件

    1.project结构

        nifi对project结构做了规范。我们仅仅要依照他的格式创创建project包 .nar,放到../lib/文件夹下,启动服务就能在页面组件中心找到并使用我们控件

        1)简单的方式是在源代码中打开一个nar 模块 ,依据我们的业务改动名称然后。。。(该怎么玩怎么玩,省去建立project模块的麻烦)


        2)就是要自己新建,那么总的来说 三步:

              a.新建maven 模块  xxxx-xxx--bundle

                   pom.xml 说明依赖关系:

           

              b. 在a模块下再新建  xxx-xxx-nar

                  pom.xml 说明依赖关系

              c.在a模块下新建  xxx-xxx-processors

                 pom.xml 说明依赖关系

     

    详细操作看看 源代码中的结构就明确了,这都不是重点 生气

    2.开发属于自己的功能组件

       组件一般来说分为service 和processor  咱们先来说下面新建一个processor 

       总的来说分两步  1.组件功能开发,2组件声明(向外暴露)

       组件功能开发。在xxx--xxx-processors 新建project类xxxx.java

     

      功能组件总的来说 也分为三个部分

       a. 外界參数声明   2,输出关系声明   3,数据流触发操作

      a.外界參数说明

           假设我们的组件须要和外界做交互。须要外部传入參数那么就须要做參数声明


        通过这样的方式声明一个參数。nifi 自身提供了比較多的验证器 能够对參数做约束验证 大家自己看着玩再见

       參数定义之后须要向外部暴露,须要重写getSupportedPropertyDescriptors 方法


    nifi 还支持动态添加属性,方式差点儿相同。大家自己看着玩。。

    再见

    2.定义转换关系

        nifi 通过转换关系对数据做流转操作。所以我们组件中必须定义至少一个转换关系

        

         相同关系定义完毕,须要对外界暴露,就须要重写getRelationships



    好了  到此 准备工作基本完毕 ,下来就进入主体部分,操作文件流

     3.文件流操作

        nifi 是以FlwoFile 为处理单位的,数据能够抽象理解为一个个的flowfile 这也就是数据流了微笑

       nifi 数据处理是以重写onTriger 開始的 

       对于flowfile 的操作大致分为三中

        1.读  从数据流中读取数据内容



      2.写  写入数据到flowfile中



    3.读完写


    这里完毕逻辑处理之后 ,nifi 必需要将flowfile提交转换



    好了 这里就完毕了组件功能开发,以下对我们新开发的组件做一下声明,使其对外暴露

    看好了 我仅仅来一遍

     

    好了 好了 都完毕了 打包 放到nifi 安装文件夹下的lib文件夹下 重新启动服务就好了得意



    你看 揍死这么奇妙


            好了好了 大家自由玩耍吧 。我也是才接触这个 又不对或不到位的地方多包涵,一起交流 相互学习 共同进步。第一次写blog 话有些多了



  • 相关阅读:
    put 创建索引
    post创建一个空索引
    elasticsearch 安装marvel
    elasticsearch 安装bigdesk插件
    perl 播放windows文件
    如何在十分钟内插入1亿条记录到Oracle数据库?
    常见地址说明
    如何做出实用而强大的数据地图?
    如何利用jqGrid表格方法重新设置caption属性值
    如何给jqGrid表格按照字段进行分组
  • 原文地址:https://www.cnblogs.com/blfbuaa/p/7272856.html
Copyright © 2020-2023  润新知