需求
flink读取hdfs写入clickhouse
设想
flink读取hdfs;数据结构化;拼接SQL;JDBC连接CLICKHOUSE;批量入库
难点
保证数据全部写入(考虑过timewindow 和 countwindow:因为文件大小和程序执行时长是未知的,所以会丢失数据)
技术实现
自定义window:
我们必须清楚的是GlobalWindow自带的trigger是NeverTrigger也就是永远不会触发
所以我们需要
1 写window
2 写trigger:trigger返回枚举: 分别对应 啥也不干,进入窗口之后销毁,进入窗口(区别是数据累积),销毁