将要调试的程序打包,上传到服务器目录,/home/hadoop/test/test.jar
然后在脚本中指定--jars参数为该目录。
spark-shell --master yarn \ --queue prod \ --driver-memory 10G --executor-memory 10G --num-executors 50 --executor-cores 2 \ --jars /home/hadoop/test/test.jar \ --conf spark.driver.maxResultSize=20G \ --conf spark.port.maxRetries=16 \ --conf spark.executor.memoryOverhead=5120 \ --conf spark.dynamicAllocation.enabled=false \ --conf spark.executor.extraClassPath=$HADOOP_PATH/lib/native \ --conf spark.driver.extraClassPath=$HADOOP_PATH/lib/native \ --name testSparkShell