【NIFI】 Apache NiFI 安装及简单的使用

NiFI介绍

　　NiFi（NiagaraFiles）是为了实现系统间数据流的自动化而构建的。虽然术语“数据流”用于各种上下文，但我们在此处使用它来表示系统之间的自动和管理信息流

　　官网地址：http://nifi.apache.org/

　　文档：http://nifi.apache.org/docs.html

　　

NiFi架构

 　　

NiFI安装

　　环境要求：a、需要Java 8或更高版本

　　　　　　　b、支持的操作系统：Linux、Unix、Windows、Mac OS X

　　1、下载安装包

　　　　命令：wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz

　　2、解压安装包、即可使用

　　　　命令：tar -zxvf nifi-1.8.0-bin.tar.gz

　　　　目录如下：
　　　　　　

　　3、配置文件（ nifi-1.8.0/conf/nifi.properties ）、可以使用默认配置，根据自己情况进行修改

　　　　　　

　　4、操作NIFI，启动的时候，比较慢，注意机器内存是否足够

　　　　后台启动命令：./bin/nifi.sh start

　　　　前端启动命令：./bin/nifi.sh run

　　　　关闭命令：./bin/nifi.sh stop

　　　　首次启动NiFi时，会创建以下文件和目录：

• • content_repository

  • database_repository

  • flowfile_repository

  • provenance_repository

  • work 目录

  • logs 目录

  • 在conf目录中，将创建flow.xml.gz文件

　　5、启动后，使用浏览器进行访问，地址：http://ip:8080/nifi

　　　　　　

NIFI简单使用

　　不理解NIFI是做什么的，看一个简单的例子（同步文件夹）吧，帮助理解

　　1、从工具栏中拖入一个Processor，在弹出面板中搜索GetFIle，然后确认
　　　　   

　　2、配置GetFile，设置结束关系、输入目录、保留源文件，其他设置可以不动，输入目录中有文件：file.txt（内容为abc）。

　　　　      

            

　　3、从工具栏中拖入一个Processor，在弹出面板中搜索PutFIle，然后确认，如第一步

　　4、配置PutFile，设置结束关系、输出目录，其他设置可以不动，输出目录为空文件夹

　　　　   

　　5、将GetFIle与PutFIle关联起来，从GetFIle中心点击，拖拉到PutFIle上

　　　　   

　　6、右键启动GetFIle与PutFIle，可以看到结果，输入目录中的文件同步到，输出目录中了

　　　　

　　

　　注意：操作过程中，注意错误排查

　　　　1、Processor上的警告

　　　　　　

　　　　2、Processor上的错误