Spark和pyspark的配置安装

如何安装Spark和Pyspark构建Spark学习环境【MacOs】

* **JDK环境** * **Python环境** * **Spark引擎** * 下载地址:[Apache-Spark官网](http://spark.apache.org/downloads.html) * MacOs下一般安装在**/usr/local**(也可以安装在别的地方,不管安装在哪, 最终都要指定环境变量) * **pyspark端** * 法一 : 从[pyspark下载页面](https://pypi.org/project/pyspark/#files)下载pyspark源文件安装 * 法二 : pip install pyspark(如果是python3，就执行pip3 install pyspark)

操作步骤

一. JDK安装(略)

二. python安装(略)

三. Spark安装

• 从Apache-Spark官网下载对应的spark源文件。
• 进入下载的spark文件所对应的目录下, 执行命令如下,则将spark文件移动到/usr/local目录下

sudo mv spark-2.4.4-bin-without-hadoop-scala-2.12.tgz /usr/local/spark-2.4.4-bin-without-hadoop-scala-2.12.tgz

• 下载的文件是一个压缩包, 需要解压,执行如下命令,即解压成功

sudo tar -zvxf spark-2.4.4-bin-without-hadoop-scala-2.12.tgz

• 设置环境变量, 执行vim ~/.bash_profile打开环境变量的配置文件, 添加下面的内容在配置文件里

export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

• 执行source ~/.bash_profile是文件生效
• 输入pyspark检测是否生效