• 【Flink学习笔记】02、flink集群安装部署


    一、standalone模式

    1、上传flink到cdh01节点,并解压

    tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /opt/module
    

    2、修改配置文件

    cd /opt/module/flink-1.10.0/conf/
    vim flink-conf.yaml
    

    修改一下下面的几个参数,我这内存比较多,直接加了个0:
    在这里插入图片描述

    修改slaves文件:

    cdh01
    cdh02
    cdh03
    

    修改masters文件:

    cdh01:8081
    

    3、分发到其它两台节点

    scp -r flink-1.10.0/ root@cdh02:`pwd`
    scp -r flink-1.10.0/ root@cdh03:`pwd`
    

    4、启动:

    [root@cdh01 bin] ./start-cluster.sh
    

    在cdh01 jps,有两个进程

    86721 TaskManagerRunner
    86368 StandaloneSessionClusterEntrypoint
    

    5、访问webui:

    http://192.168.66.11:8081/#/overview
    在这里插入图片描述
    6、使用webui提交程序

    先打包:在这里插入图片描述
    点击add New:
    在这里插入图片描述
    上传之后的效果:
    在这里插入图片描述
    在cdh01启动netcat:

    nc -lk 7777
    

    双击jar包名称并且填写主类:
    在这里插入图片描述
    点击提交任务之后的效果:
    在这里插入图片描述

    上面的图有两条任务链

    输入数据流:
    在这里插入图片描述
    那么在哪里看 结果呢?

    点击最后一个任务链:
    在这里插入图片描述
    可知它在cdh01,我的ip是11结尾:
    在这里插入图片描述
    点进去即可找到结果输出:
    在这里插入图片描述

    二、flink并行度和slot

    • slot是静态的概念,是指taskManager具有的并发执行能力
    • parallelism是动态的概念,是指应用 程序实际使用的并发能力

    建议slot的数量和CPU的核数保持一致

    一个slot就是一个线程

    并行度可以在四个层面进行设置:

    • 算子层面
    • 执行环境层面
    • 客户端层面
    • 系统层面

    二、yarn模式

  • 相关阅读:
    实验:缓冲区溢出
    树莓派4B安装和使用openEuler系统
    stat命令的实现-mysate
    20191310Lee_Yellow第五章读书笔记
    反汇编测试
    openssl编程
    Openeuler安装完整man手册
    20191310Lee_yellow缓冲区溢出实验
    《奔跑吧!树莓派》实验指导第三章
    20191310李烨龙第四章读书笔记
  • 原文地址:https://www.cnblogs.com/tangliping/p/14337247.html
Copyright © 2020-2023  润新知