如何安装Spark和Pyspark构建Spark学习环境【MacOs】
* **JDK环境**
* **Python环境**
* **Spark引擎**
* 下载地址:[Apache-Spark官网](http://spark.apache.org/downloads.html)
* MacOs下一般安装在**/usr/local**(也可以安装在别的地方,不管安装在哪, 最终都要指定环境变量)
* **pyspark端**
* 法一 : 从[pyspark下载页面](https://pypi.org/project/pyspark/#files)下载pyspark源文件安装
* 法二 : pip install pyspark(如果是python3，就执行pip3 install pyspark)
操作步骤
一. JDK安装(略)
二. python安装(略)
三. Spark安装
- 从Apache-Spark官网下载对应的spark源文件。
- 进入下载的spark文件所对应的目录下, 执行命令如下,则将spark文件移动到/usr/local目录下
sudo mv spark-2.4.4-bin-without-hadoop-scala-2.12.tgz /usr/local/spark-2.4.4-bin-without-hadoop-scala-2.12.tgz
- 下载的文件是一个压缩包, 需要解压,执行如下命令,即解压成功
sudo tar -zvxf spark-2.4.4-bin-without-hadoop-scala-2.12.tgz
- 设置环境变量, 执行
vim ~/.bash_profile打开环境变量的配置文件, 添加下面的内容在配置文件里
export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
- 执行
source ~/.bash_profile是文件生效
- 输入pyspark检测是否生效