• spark、standalone集群 (2)集群zookeeper 热备


     测试 cmd    

    spark-examples-1.6.0-hadoop2.6.0.jar   spark 2.0以后  就没有这个 jar。需要下载

    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://sparknode1:7077 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 10

    ./bin/spark-shell --master spark://sparknode1:7077

     http://mirrors.cnnic.cn/apache/zookeeper/

    1.下载 zookeeper 3.3.6

    tar zxvf 解压到目录(与spark平级,可以自定义)

    2.创建目录data   logs

    3.在data下创建文件 myid (各自 格式都可以,我是txt)

    4.cd /conf复制 zoo_sample.cfg

    cp zoo_sample.cfg zoo.cfg

    vi  zoo.cfg   修改 新增

    5. myid 文件内容 与下图  1,2,3...一致

    (集群务服sparknode1(server.1),中myid的值为 1

    (集群务服sparknode1(server.2),中myid的值为 2)...

    6.把解压  后的zookeeper  上传到 每一台 集群服务器上

    修改对应服务启的 myid文件内容

    7.每一台的zookeeper

    cd /zookeeper.3.3.6/bin  

    ./zkServer.sh start

    ./zkServer.sh status

    8.开始整合 spark

    修改 spark/conf/spark-env.sh

    9.启动 cd /sbin

    ./start-all.sh

    10.测试备用主节点

    修改一下worker 节点为 master,

    sparknode2服务器

    启动 主节点 ./start-master.sh    (sparknode2服务器)

    11.页面查看

     

    杀死  sparknode1   master 进程,

    等一段时间,1-2分钟,,,查看sparknode2 页面,是否把  主节点  激活

     

  • 相关阅读:
    luogu P1955 [NOI2015]程序自动分析
    luogu P5514 [MtOI2019]永夜的报应
    bzoj1816[Cqoi2010]扑克牌
    bzoj1040[ZJOI2008]骑士
    bzoj4582[Usaco2016 Open]Diamond Collector
    bzoj1029[JSOI2007]建筑抢修
    bzoj1079[SCOI2008]着色方案
    bzoj1051[HAOI2006]受欢迎的牛
    bzoj4525[Usaco2016 Jan]Angry Cows
    bzoj4512[Usaco2016 Jan] Build Gates
  • 原文地址:https://www.cnblogs.com/yxnyd/p/6952745.html
Copyright © 2020-2023  润新知