不多说,直接上干货!
关于下载,这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。
http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz
我是解压在D:SoftWare方便为了导入其中的所需jar包
这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6和spark-2.2.0-bin-hadoop2.6发行包的scala代码环境
这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6发行包的java代码环境
D:SoftWarespark-1.6.1-bin-hadoop2.6lib下的所有
zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib
然后,再分别复制进去,不多说。
这里,我是在Scala IDEA for Eclipse里,手动来构建java代码环境
D:SoftWarespark-2.2.0-bin-hadoop2.6jars
zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib
成功!