• 别人家的 InfluxDB 实战 + 源码剖析


    1.

    前几次的分享,我们多次提到了下图中 Metrics 指标监控的 Prometheus、Grafana,而且 get 到了 influxdata 旗下的 InfluxDB 的入门技能。

    本次,我们去看看别人家(流式处理框架 flink) 是怎么用 InfluxDB 的?并尝试把 InfluxDB、Grafana 这些轮子组装在一起,看看组装之后的车子能否跑起来?

    2.

    个人认为,做技术的不要一味追求纸上谈兵,如果不会学以致用,都是在扯淡,所以学习任何一门技术,先会用才是硬道理。

    接下来一起去看看 Flink 与 InfluxDB、Grafana 这些轮子组装在一起,组装之后的车子是否能够跑顺溜

    组装轮子之前,先贴两张图,帮你回忆一下 InfluxDB 和 Grafana。

    图一:InfluxDB 入门宝典。

    图二:Grafana 展示监控数据效果图。

    InfluxDB 和 Grafana 如何安装?如何使用?之前已经分享过,不在这里赘述,下面着重介绍 Flink 与 InfluxDB、Grafana 轮子的集成。

    磨刀霍霍。二话不说,直接打开一手的 flink 官方文档,按照步骤做就是啦。

    https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/metrics.html
    

    图中标注 1,进入 flink 的主目录,然后拷贝 opt 目录下的 flink-metrics-influxdb-1.8.0.jar 到 lib 目录下。

    图中标注 2,进入 conf 目录,打开 flink-conf.yaml 配置文件,加入图中标注 2 的配置信息,注意修改成符合你所需的配置,配置解释如下。

    到这儿,flink 与 InfluxDB 就算集成到一起了,看看组装之后,能否顺溜的跑起来。

    启动 flink,并让 flink 做点计算任务,例如 WordCount。

    连接上 InfluxDB,确认一下 flink 产生的 metrics 数据,是否写入到 InfluxDB 中啦?

    命令操作猛如虎。

    influx
    use flink # 如果不存在,记得创建呦
    show MEASUREMENTS
    select * from jobmanager_Status_JVM_CPU_Load
    

      

    实际效果让人欢。

    见此景,足矣说明 flink 与 InfluxDB 集成的很完美,车子跑的很顺溜。

    另外,建议提前在 influxdb 中创建 flink 数据库,不然会提示如下信息。

    WARN  org.apache.flink.runtime.metrics.MetricRegistryImpl           - Error while reporting metrics
    org.apache.flink.metrics.influxdb.shaded.org.influxdb.InfluxDBException$DatabaseNotFoundException: database not found: "flink"
    

     

    趁热乎劲,顺道把 InfluxDB + Grafana 轮子的集成到一起,看看啥效果?

    完成配置,点击“Save & Test”按钮进行保存和测试,成功会提示“Data source is working”。

    然后,就可以在 Grafana 上看到 InfluxDB 中 flink 的所有表,进而 flink-metrics 监控数据,也就很顺溜的呈现出来。而且你也可以根据个人需求,自定义 dashboard 或者去 Grafana 官网导入一些定义好模板。

    到这儿,Flink + InfluxDB + Grafana 轮子也就组装完成了,而且组装之后的车子,也跑的相当好。

    此时,你是否会好奇车子背后是如何运作的呢?好奇害死猫,满足你的好奇心。

    3.

    数据流向很简单,Flink 定义了 InfluxdbReporter,用于定时把 flink-metrics 写入到 InfluxDB 数据库中,然后 Grafana 查询 InfluxDB 进行数据计算并呈现。

    flink 中 InfluxReproter 源码定义如上图所示,标注 1 的代码段,很显然是获取开篇提到的 flink-conf.yml 中配置配置信息,然后连接 InfluxDB 数据库;标注 3 的代码段,完成释放资源,关闭 InfluxDB 数据库连接;标注 2 的代码段,主要是调用 buildReport() 方法封装上报数据,并完成 flink-metrics 写入 influxDB。

    上面截图,metrics 几个核心度量指标(gauges、counters、histograms、meters)再次呈现在我们面前,主要是调用 influxdb 提供的 API 进行指标数据封装。

    为了从全局上看的更清楚一些,一张 InfluxdbReporter 继承实现关系图,贴给大家。希望大家结合《实践指路明灯,源码剖析flink-metrics》那篇文章去理解,会理解的更清晰。

    4.

    学技术,先在会用的前提下,再逐渐进行深入剖析,最后做到灵活运用。

    基于当下流行的流式处理框架 flink 的源码剖析,相信会对你有所帮助,尤其是自研的场景下,很多代码可以拿去复用,它山之石可以攻玉

    好了,本次的分享就到这里,每天进步一点点,前进不止一小点,希望你们有所获。

  • 相关阅读:
    MySQL 5.7 Invalid default value for 'CREATE_TIME'报错的解决方法
    浅析mysql中exists 与 in 的使用
    mysql 索引原理
    内存溢出与内存泄漏
    java 内部类详解
    JAVA中重写equals()方法的同时要重写hashcode()方法
    Java中volatile关键字解析
    JDK1.8 HashMap源码分析
    mysql 行转列 列转行
    Java多线程(十)——线程优先级和守护线程
  • 原文地址:https://www.cnblogs.com/socoool/p/12629725.html
Copyright © 2020-2023  润新知