一、背景介绍
本文以risk-summary项目为背景来介绍。我们主要关注step 1 和 step 2
- 以flink作为中心来看,其在step 1把kafka作为数据源(addSource)获取数据,经过flink处理后,将处理后的数据再输出(addSink)到kafka
二、Flink与Kafka的集成
2.1 引入flink与kafka集成相关的包
2.2 创建Flink上下文环境
2.3 建立Flink和Kafka的关联 - 将kafka作为flink的数据源
(1)步骤是,建立flink和kafka的消费关系
(2) 步骤是flink上下文env通过addSource把kafka作为消费数据源. 返回一个数据流DataStream.
2.4 Flink对数据进行处理
通过filter过滤
通过map转换数据类型,从PortRiskBO convert 为 RiskSummaryBO
2.5 再次建立Flink和Kafka的关联 - 将kafka作为flink的输出地
2.6 启动Flink
参考文献
FLINK基础(十):FLINK常用的SOURCE和SINK:https://www.freesion.com/article/2162429401/