• spark-submit的参数名称解析


    执行时需要传入的参数说明

    Usage: spark-submit [options] <app jar | Python file> [app options]

    参数名称

    含义

    --master MASTER_URL

    可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local

    --deploy-mode DEPLOY_MODE

    Driver程序运行的地方,client或者cluster

    --class CLASS_NAME

    主类名称,含包名

    --name NAME

    Application名称

    --jars JARS

    Driver依赖的第三方jar包

    --py-files PY_FILES

    用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip,  .egg, .py文件列表

    --files FILES

    用逗号隔开的要放置在每个executor工作目录的文件列表

    --properties-file FILE

    设置应用程序属性的文件路径,默认是conf/spark-defaults.conf

    --driver-memory MEM

    Driver程序使用内存大小

    --driver-java-options

     

    --driver-library-path

    Driver程序的库路径

    --driver-class-path

    Driver程序的类路径

    --executor-memory MEM

    executor内存大小,默认1G

    --driver-cores NUM

    Driver程序的使用CPU个数,仅限于Spark Alone模式

    --supervise

    失败后是否重启Driver,仅限于Spark  Alone模式

    --total-executor-cores NUM

    executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式

    --executor-cores NUM

    每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式

    --queue QUEUE_NAME

    提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式

    --num-executors NUM

    启动的executor数量,默认是2个,仅限于Spark on Yarn模式

    --archives ARCHIVES

    仅限于Spark on Yarn模式

  • 相关阅读:
    快速幂 + 矩阵快速幂
    iOS 获取设备的 UDID,安装描述文件、证书
    自定义View 圆角的ImageView
    使用Glide设置view背景
    dp转px,sp转px
    Android注解约束参数为固定的某几个值
    SourceTree回滚远程仓库
    Android加载视频封面的两种方式
    Android Glide加载视频封面
    ios 关于如何在app里面设置版本更新功能
  • 原文地址:https://www.cnblogs.com/ilinuxer/p/6759739.html
Copyright © 2020-2023  润新知