1.配置JDK
省略
2.配置scala
省略
3.配置hadoop
1.下载所需要的hadoop版本,并解压
https://archive.apache.org/dist/hadoop/common/
下载之后解压到一个目录下,例如: F:igdatasoftwarehadoop-2.8.5
2.配置环境变量
编辑系统环境变量,配置HADOOP_HOME
Path中添加:%HADOOP_HOME%in
3.替换HADOOP_HOME/bin下的文件
下述链接下载winutils-master,解压,获取和自己hadoop对应的版本,将其bin下的所有文件拷贝至HADOOP/bin下,并将重复的替换掉
链接:https://pan.baidu.com/s/11TiFjgd6qmBUJW9kIHPS4g
提取码:1111
4.配置spark
1.下载和hadoop对应的spark版本
2.解压,配置环境变量
系统环境变量配置SPARK_HOME:
Path中添加:%SPARK_HOME%in
5.idea本地开发