standalone
安装SCALA
下载、解压、加入环境变量
安装spark1.2.0
下载、解压、加入环境变量
tar zxvf spark-1.2.0-bin-2.2.0.tgz
export SPARK_HOME=/home/hadoop/spark-1.2.0-bin-2.2.0 export PATH=$PATH:$SPARK_HOME/bin export SCALA_HOME=/home/hadoop/scala-2.11.4 export PATH=$PATH:$SCALA_HOME/bin
在spark目录下的conf目录中
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
在最下面加入
export SCALA_HOME=/home/hadoop/scala-2.11.4 export JAVA_HOME=/home/hadoop/jdk1.7.0_71 export SPARK_MASTER_IP=hadoop export SPARK_WORKER_MEMORY=1000m export HADOOP_CONF_DIR=/home/hadoop/hadoop2.2.0/etc/hadoop
在spark目录下的conf目录中
cp slaves.template slaves
vi slaves
加入集群中的worker机器IP或者名称
启动(可以分开启动,也可以一起启动):
sbin/start-all.sh
测试
bin/run-example SparkPi
关于spark的介绍,我觉得下面这篇文章介绍的很好
http://www.aboutyun.com/thread-11413-1-1.html