• Spark HA搭建


    正文

      下载Spark版本,这版本又要求必须和jdk与hadoop版本对应。

    1. http://spark.apache.org/downloads.html

      tar -zxvf 解压到指定目录,进入conf进行培训。spark-env.sh.template 改为 spark-env.sh,注册

           export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hp01:2181,hp02:
    2181,hp03:2181 -Dspark.deploy.zookeeper.dir=/spark"

      JAVA_HOME也要配置,其实环境变量已经配了,如果此不配在运行sh中脚本会走这个变量,没有找到就会报 JAVA_HOME没有set的问题。上面的配置是连接zookeeper,配置问了修改slaves.template  改为slaves,添加子节点也就是worker。只需要这几步,完成以后将安装包发送到各个worker节点。启动当前的master节点。进而所有的worker都会启动起来。如果要启动另一个master节点,单独去那个节点去启动start-master.sh。通过浏览器访问两个主节点就可以看出区别。状态Status。这样也就完成了简单的一个HA搭建。

    • URL: spark://hadoop01:9090
    • REST URL: spark://hadoop01:6066 (cluster mode)
    • Alive Workers: 3
    • Cores in use: 3 Total, 0 Used
    • Memory in use: 3.0 GB Total, 0.0 B Used
    • Applications: 0 Running, 0 Completed
    • Drivers: 0 Running, 0 Completed
    • Status: ALIVE

      ===========================================================================================

      ===========================================================================================

      ===========================================================================================  

    • URL: spark://hadoop02:9090
    • REST URL: spark://hadoop02:6066 (cluster mode)
    • Alive Workers: 0
    • Cores in use: 0 Total, 0 Used
    • Memory in use: 0.0 B Total, 0.0 B Used
    • Applications: 0 Running, 0 Completed
    • Drivers: 0 Running, 0 Completed
    • Status: STANDBY

    总结

      刚接触spark不久如果有什么不对的地方,希望大神们对对指点。同时自己也最近一段时间,也在寻找大数据开发的工作如果有需要的可以联系本人。qq653530273,

  • 相关阅读:
    socket编程中最常用的几个数据类型和转换函数
    windows下给QT可执行文件(exe)一个图标
    fseek函数与ftell函数使用例程
    LINUX C例程1:sscanf的用法
    Linux进程控制——exec函数族
    Linux查看文件编码格式及文件编码转换
    oracle易忘函数用法(1)
    Oracle VARRAY的实际应用简介
    oracle 存储过程的基本语法 及注意事项
    何将ext中的FormPanel中,所有组件都居中放置?
  • 原文地址:https://www.cnblogs.com/hackerxiaoyon/p/7488049.html
Copyright © 2020-2023  润新知