示例: spark-submit [--option value] <application jar> [application arguments]
参数名称 |
含义 |
--master MASTER_URL |
spark://host:port |
--deploy-mode DEPLOY_MODE |
Driver程序运行的地方:client、cluster,默认是client |
--class CLASS_NAME |
应用程序主类名称,含包名 |
--name NAME |
应用程序名称 |
--jars JARS |
Driver依赖的第三方jar包 |
--properties-file FILE |
应用程序属性的文件路径,默认是conf/spark-defaults.conf |
以下设置Driver |
|
--driver-cores NUM |
Driver程序的使用CPU核数,默认1(只用于cluster) |
--driver-memory MEM |
Driver程序使用内存大小,默认512M |
--driver-library-path |
Driver程序的库路径 |
--driver-class-path |
Driver程序的类路径 |
--driver-java-options |
|
--supervise |
重启失败的Driver(只用于cluster) |
以下设置Executor |
|
--total-executor-cores NUM |
所有executor使用的总核数 |
--executor-memory MEM |
executor内存大小,默认1G |
--files FILES |
用逗号隔开的要放置在每个executor工作目录的文件列表 |
【注意】
standalone模式每个worker一个executor,无法修改executor的数量