注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6815385772254822919/
承接上一个文档《Spark源码编译》
解压spark编译好的压缩包
sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark
修改配置文件
添加内容
启动hdfs
namenode和datanode
测试spark自带的例子
计算圆周率
./bin/run-example SparkPi
第二个测试
./bin/run-example SparkPi 100
启动sparkshell
退出spark shell的命令是 :quit
修改日志打印级别(可选)
修改文件
修改log4j.logger.org.apache.spark.repl.Main=INFO这句话就可以了