昨天说要安装一下spark,下面我们就来看一下如何安装吧。
第一步:安装spark
http://spark.apache.org/downloads.html
条件:
安装成功截图:
启动sparkshell,获取spark版本
启动命令:
1.进入相应的目录:cd /usr/local/spark
2.启动Spark:./bin/saprk-shell
另外一种启动方式:直接进入spark
bin/spark-shell, 该命令省略了参数,这时,系统默认是“bin/spark-shell –master local[*]”,也就是说,是采用本地模式运行,并且使用本地所有的CPU核心。
意外发现是Scala命令:
退出命令: :quit
下一步:安装maven
由于我们选择的是java下安装scala,王老师建议我们在maven的环境下运行,所以我们要安装maven,其实不安装也是可以的。
Maven链接:https://maven.apache.org/download.cgi#Files
可以直接下载apache-maven-3.3.9,apache-maven-3.3.9-bin.zip的下载地址。
上面那个网址貌似不能用了,一直转圈但是没有相应,不知道是我这里的问题还是服务器的问题,这里给出新的链接:https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/
选择那个倒数第四个就可以了。
今天暂时到这里。还在缓冲期,不要急慢慢来。