寒假学习笔记06

安装spark的环境，

亲测可用。

Spark是Hadoop的子项目。 因此，最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。

• 步骤1：验证Java安装

Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。

$java -version

　　

如果Java已经，安装在系统上，你能看到以下响应 

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
 

　　

如果您没有在系统上安装Java，请在继续下一步之前安装Java。

• 步骤2：下载Scala

通过访问以下链接下载Scala的最新版本:下载Scala。 对于本教程，我们使用scala-2.11.6版本。 下载后，您将在下载文件夹中找到Scala tar文件。

• 步骤3：安装Scala

按照以下给出的安装Scala的步骤。
提取Scala tar文件
键入以下命令以解压缩Scala tar文件。

$ tar xvf scala-2.11.6.tgz

　　

移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录（/ usr / local / scala）。

$ tar xvf scala-2.11.6.tgz

　　

 移动Scala软件文件

使用以下命令将Scala软件文件移动到相应的目录（/ usr / local / scala）。

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit
 

　　

为Scala设置PATH

使用以下命令设置Scala的PATH。

$ export PATH = $PATH:/usr/local/scala/bin

　　

验证Scala安装

安装后，最好验证它。 使用以下命令验证Scala安装。

$scala -version

　　

如果Scala是已经安装在系统中，你能看到以下响应

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
 

　　

• 步骤4：下载Apache Spark

通过访问以下链接下载Spark的最新版本。 对于本教程，我们使用spark-1.3.1-bin-hadoop2.6版本。 下载后，你会在下载文件夹中找到Spark tar文件。

• 步骤5：安装Spark

按照以下步骤安装Spark。
提取Spark tar
以下命令用于提取spark tar文件。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

　　

移动Spark tar软件文件

以下命令用于将Spark软件文件移动到相应的目录（/ usr / local / spark）。

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

　　

 

设置Spark的环境
将以下行添加到〜/ .bashrc文件。 这意味着将spark软件文件所在的位置添加到PATH变量。

export PATH = $PATH:/usr/local/spark/bin

　　

使用以下命令获取〜/ .bashrc文件。

$ source ~/.bashrc

　　

 

• 步骤6：验证Spark安装

编写以下命令以打开Spark shell。

$spark-shell

　　

如果spark安装成功，那么您将找到以下输出。

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _ / _ / _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>