Flink 自定义Source 并行度问题

实现 SourceFunction

大多数情况下，Flink自身支持的数据源已经能够满足需要。但是凡事总有例外，如果遇到特殊情况，想要读取的数据源来自某个外部系统，而flink既没有预实现的方法、也没有提供连接器，那就只好自定义实现SourceFunction了。接下来创建一个自定义的数据源，实现SourceFunction接口。主要重写两个关键方法：run()和cancel()。

run()方法：使用运行时上下文对象（SourceContext）向下游发送数据；
cancel()方法：通过标识位控制退出循环，来达到中断数据源的效果。

下面就实现一下：

    public static class MySource0625 implements SourceFunction<Event> {
        //是否执行
        private boolean ifRun = true;

        @Override
        public void run(SourceContext<Event> ctx) throws Exception {
            Random random = new Random();
            String[] users = {"令狐冲", "依琳", "莫大", "风清扬", "任盈盈", "林远图", "定仪"};
            String[] urls = {"/home", "/cart", "/pay", "/info?id?"};
            while (ifRun) {
                //直接返回一个对象
                ctx.collect(new Event(users[random.nextInt(urls.length)],
                        urls[random.nextInt(urls.length)],
                        Calendar.getInstance().getTimeInMillis()));
                //1s  生成一条
                Thread.sleep(1000);
            }
        }

        @Override
        public void cancel() {
            //取消
            ifRun = false;
        }
    }

调用测试：

 env.addSource(new MySource0625()).print();

输出结果

3> Event{user='令狐冲', url='/home', timestamp=2022-06-25 08:09:36.577}
4> Event{user='令狐冲', url='/cart', timestamp=2022-06-25 08:09:37.588}
1> Event{user='令狐冲', url='/info?id?', timestamp=2022-06-25 08:09:38.592}
2> Event{user='风清扬', url='/cart', timestamp=2022-06-25 08:09:39.595}
3> Event{user='依琳', url='/home', timestamp=2022-06-25 08:09:40.598}

下面修改下并行度再次测试

 env.addSource(new MySource0625()).setParallelism(2).print();

报错

Exception in thread "main" java.lang.IllegalArgumentException: The parallelism of non parallel operator must be 1.
    at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:138)
    at org.apache.flink.api.common.operators.util.OperatorValidationUtils.validateParallelism(OperatorValidationUtils.java:35)
    at org.apache.flink.streaming.api.datastream.DataStreamSource.setParallelism(DataStreamSource.java:114)
    at org.wdh01.chapter05ForTest.SourceTest0625.main(SourceTest0625.java:51)

原因是：SourceFunction接口定义的数据源，并行度只能设置为1；SourceFunction接口定义的数据源，并行度只能设置为1；SourceFunction接口定义的数据源，并行度只能设置为1

所以如果我们想要自定义并行的数据源的话，需要使用ParallelSourceFunction

ParallelSourceFunction

    public static class MyParaiSource implements ParallelSourceFunction<Event> {

        private boolean ifRun = true;

        @Override
        public void run(SourceContext<Event> ctx) throws Exception {
            String[] users = {"令狐冲", "依琳", "莫大", "风清扬", "任盈盈", "林远图", "定仪"};
            String[] urls = {"/home", "/cart", "/pay", "/info?id?"};
            Random random = new Random();
            while (ifRun) {
                //直接返回一个对象
                ctx.collect(new Event(users[random.nextInt(users.length)],
                        urls[random.nextInt(urls.length)],
                        Calendar.getInstance().getTimeInMillis()));
                //1s  生成一条
                Thread.sleep(1000);
            }

        }


        @Override
        public void cancel() {
            //取消
            ifRun = false;
        }
    }

测试

 env.addSource(new MyParaiSource()).setParallelism(2).print();

输出

3> Event{user='任盈盈', url='/home', timestamp=2022-06-25 08:15:07.252}
2> Event{user='任盈盈', url='/pay', timestamp=2022-06-25 08:15:07.248}
4> Event{user='莫大', url='/pay', timestamp=2022-06-25 08:15:08.259}
3> Event{user='莫大', url='/home', timestamp=2022-06-25 08:15:08.259}
1> Event{user='依琳', url='/info?id?', timestamp=2022-06-25 08:15:09.262}
4> Event{user='任盈盈', url='/pay', timestamp=2022-06-25 08:15:09.262}
2> Event{user='莫大', url='/info?id?', timestamp=2022-06-25 08:15:10.265}
1> Event{user='令狐冲', url='/cart', timestamp=2022-06-25 08:15:10.265}
3> Event{user='林远图', url='/pay', timestamp=2022-06-25 08:15:11.268}
2> Event{user='林远图', url='/pay', timestamp=2022-06-25 08:15:11.268}

可以看到：实现了 ParallelSourceFunction 的自定义 Source ,是可以并行的，没有了 SourceFunction 的并行度限制，工作中可以根据业务需要灵活选择。