• 「Flink」Flink 1.9 WebUI运行作业界面分析


    运行作业界面

    在以下界面中,可以查看到作业的名称、作业的启动时间、作业总计运行时长、作业一共有多少个任务、当前正在运行多少个任务、以及作业的当前状态。

    这里的程序:一共有17个任务,当前正在运行的是17个任务。

    image

    作业概览界面

    image

    在这个界面中,我们可以看到数据流图。这个程序中,一共有3个算子。

    image

    Custom Source任务并行度为1

    Flat Map任务并行度为8,

    Flink Map –> Sink任务并行度为8

    一共是17个任务。

    在明细界面中,可以查看到具体每个算子接收的字节数、记录数,发送的字节数、记录数,并行度,开始时间,持续运行时间。

    image

    具体Operator运行情况

    点击某一个Operator,可以查看到该Operator的具体运行信息。

    image

    上图,我们可以看到Task处理的数据是均匀的,每一个Task都拉取到了差不多的记录数。

    而下面这张图,我们可以很直观地看到,3个分区中是有数据处理的。因为此处我们只有三个单词:hadoop flink spark。每个单词都分配到了不同的任务中处理。

    image


    Checkpoint界面

    image

    Overview

    Overview中可以看到Checkpoint的总体概览情况。

    image

    Triggered表示一共触发了14个checkpoint,完成了14个。

    image

    Lastest Completed Checkpoint为最近一次checkpoint的情况,可以看到这个checkpoint在state中存储的大小是5.9KB。

    再看一下这个checkpoint的明细信息:

    image

    可以看到这个checkpoint并没有配置外部的存储,是保存在Task Manager的内存走过来的。而且这个Checkpoint已经被discard掉了。

    再看下具体Operators的checkpoint情况,在Flink中每个Operator都是有状态的。

    第一个Source、第二个Flat Map,这两个Operator都没有实现Operator State(也就是CheckpointFunction),所以,他们并没有真正的占用状态存储。

    而在第三个FlatMap –> Slink Operator走过来,因为使用到了Keyed Manage State中的ValueState,所以,这里状态存储中是有值的。

    image

    History

    在History选项卡中,我们可以看到所有的checkpoint的历史记录

    image

    Summary

    image

    Summary中,可以看到checkpoint的运行时间。

  • 相关阅读:
    04.网站点击流数据分析项目_模块开发_数据仓库设计
    03.网站点击流数据分析项目_模块开发_数据预处理
    02.网站点击流数据分析项目_模块开发_数据采集
    15_sqoop数据导出
    14_sqoop数据导入
    13_sqoop数据迁移概述
    12_Azkaban案例实践5_Command操作Hive脚本任务
    11_Azkaban案例实践4_Command操作MapReduce
    10_Azkaban案例实践3_Command操作HDFS
    09_Azkaban案例实践2_Command多job工作流flow
  • 原文地址:https://www.cnblogs.com/ilovezihan/p/12250712.html
Copyright © 2020-2023  润新知