spark-project.org 下载pre_版非withoutHadoop版本的包(已经编译好的集成Hadoop的spark包)
设置环境变量:
SPARK_HOME: 解压好的spark目录
path: %spark_home%/bin
然后cmd输入spark-shell
如果不能使用继续配置sparkclasspath
SPARK_CLASSPATH(如果是1.0+以上版本可以去掉这个配置否则会给予警告):
%SPARK_HOME%/lib/spark-assembly-1.6.1-hadoop2.2.0.jar;
%SPARK_HOME%/lib/spark-1.6.1-yarn-shuffle.jar;
%SPARK_HOME%/lib/spark-examples-1.6.1-hadoop2.2.0.jar
二、配置Hadoop
1:仅下载git中bin文件目录(https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin)
把下载的bin放入新建的Hadoop文件夹中
2:然后配置HADOOP_HOME(直接是Hadoop目录)
3:然后配置到path中 %HADOOP_HOME%/bin