• flink的Standalone集群安装


    1:上传安装包到linux系统

    使用rz命令

    2:解压

    tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

    3:修改配置文件

    vim conf/flink-conf.yaml

    jobmanager.rpc.address: hadoop01
    jobmanager.rpc.port: 6123
    jobmanager.heap.mb: 1024
    taskmanager.heap.mb: 1024
    taskmanager.numberOfTaskSlots: 2
    taskmanager.memory.preallocate: false
    parallelism.default: 1
    jobmanager.web.port: 8081
    taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp

    配置参数解释:

    jobmanager.rpc.address: localhost   JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址
    jobmanager.rpc.port: 6123   JobManager的端口号(DEFAULT:6123)
    jobmanager.heap.mb: 1024         JobManager的默认JVM堆大小(以兆字节为单位)
    taskmanager.heap.mb: 1024       用于TaskManagers的JVM堆大小(以兆字节为单位)
    taskmanager.numberOfTaskSlots: 1    每台机器可用的CPU数量(默认值:1)
    taskmanager.memory.preallocate: false   是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
    parallelism.default: 1      指定程序的默认并行度
    jobmanager.web.port: 8081   JobManager的Web界面的端口(默认:8081)
    taskmanager.tmp.dirs:临时文件的目录

    4:启动flink集群

    方式一:

    添加一个JobManager

    bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

    添加一个TaskManager

    bin/taskmanager.sh start|start-foreground|stop|stop-all

     方式二:

    bin/start-cluster.sh
    
    bin/stop-cluster.sh

    运行测试任务

    bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data

     

  • 相关阅读:
    POJ 1724 ROADS【最短路/搜索/DP】
    UVA 12716 GCD XOR【异或】
    UVA 10375 Choose and divide【唯一分解定理】
    UVA 12169 Disgruntled Judge【扩展欧几里德】
    UVA 11582 Colossal Fibonacci Numbers!【数学】
    011.progit笔记---git变基rebase
    010.progit笔记---git多个远程分支
    009.progit笔记---git单个远程分支
    008.progit笔记---git分支
    007.progit笔记---git别名
  • 原文地址:https://www.cnblogs.com/niutao/p/10548251.html
Copyright © 2020-2023  润新知