• 012 Spark在IDEA中打jar包,并在集群上运行(包括local模式,standalone模式,yarn模式的集群运行)


    一:打包成jar

    1.修改代码

      

    2.使用maven打包

      但是目录中有中文,会出现打包错误

      

    3.第二种方式

      

    4.下一步

      

    5.下一步

      

    6.下一步

      

    7.下一步

      

    8.下一步

      

    9.完成

      

     二:在集群上运行(local模式)

    1.上传

      

    2.学习spark-submit的使用方式

      

    3.运行(local模式)

      

    4.运行结果

      

    三:集群上运行(standalone模式)

    1.DeoloyMode

      表示Driver执行的位置。

      client如果是参数,则表示driver执行在执行spark-submit命令的机器上。

      cluster是参数,则表示driver会运行在集群中选择的某一台机器上。

    2.运行(standalone模式的client)

      

    3.结果(8080端口)

      

    4.运行(standalone模式的cluster)

      

    5.结果

      

    四:介绍模式

    1.client

      

    2.cluster

      工作中一般都是这个,想一下还是很符合实际的。

      

    五:YARN模式

    1.使用方式

      将上面的--master修改成yarn就可以运行了。

      

      

      

      

  • 相关阅读:
    MongoVUE 使用教程
    Mongo
    thinkPHP
    从关系型数据库到非关系型数据库
    boost 文件系统
    boost 随机数发生器
    CString/string 区别及其转化
    boost uuid
    使用命令行解析php文件
    Log4PHP日志库使用
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6381562.html
Copyright © 2020-2023  润新知