• flink的Standalone集群安装


    1:上传安装包到linux系统

    使用rz命令

    2:解压

    tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

    3:修改配置文件

    vim conf/flink-conf.yaml

    jobmanager.rpc.address: hadoop01
    jobmanager.rpc.port: 6123
    jobmanager.heap.mb: 1024
    taskmanager.heap.mb: 1024
    taskmanager.numberOfTaskSlots: 2
    taskmanager.memory.preallocate: false
    parallelism.default: 1
    jobmanager.web.port: 8081
    taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp

    配置参数解释:

    jobmanager.rpc.address: localhost   JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址
    jobmanager.rpc.port: 6123   JobManager的端口号(DEFAULT:6123)
    jobmanager.heap.mb: 1024         JobManager的默认JVM堆大小(以兆字节为单位)
    taskmanager.heap.mb: 1024       用于TaskManagers的JVM堆大小(以兆字节为单位)
    taskmanager.numberOfTaskSlots: 1    每台机器可用的CPU数量(默认值:1)
    taskmanager.memory.preallocate: false   是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
    parallelism.default: 1      指定程序的默认并行度
    jobmanager.web.port: 8081   JobManager的Web界面的端口(默认:8081)
    taskmanager.tmp.dirs:临时文件的目录

    4:启动flink集群

    方式一:

    添加一个JobManager

    bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

    添加一个TaskManager

    bin/taskmanager.sh start|start-foreground|stop|stop-all

     方式二:

    bin/start-cluster.sh
    
    bin/stop-cluster.sh

    运行测试任务

    bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data

     

  • 相关阅读:
    C语言数据类型取值范围
    C语言的概述--学习c的第二天
    开始学习c语言
    Comet 反Ajax: jQuery与PHP实现Ajax长轮询
    jquery的toFixed方法的正确使用
    JavaScript 正则表达式
    JavaScript中原型链存在的问题解析
    vue编程式导航
    vue 动态组件,传递参数
    JavaScript如何封装插件
  • 原文地址:https://www.cnblogs.com/niutao/p/10548251.html
Copyright © 2020-2023  润新知