spark--01编译安装spark1.3.1

问：为什么要编译安装？
答：因为为了不给自己埋定时炸弹，编译成功后的安装包往往都是在你的机器上兼容性达到最优的，所以还是建议编译一下

0.java安装，这里不再详述

1.在centOS上安装maven

1.tar -zxvf apache-maven-3.2.5-bin.tar.gz -C 目录
(解压)
这里我放在了/usr/maven/apache-maven-3.0.5目录下

2.vi /etc/profile 设置环境变量
(打开文件,编辑,在文件最后添加如下变量,编辑完成按ESC键退出编辑,然后输入:wq或者按住 shift+ZZ 保存退出)
export MAVEN_HOME=/usr/maven/apache-maven-3.0.5

3.source /etc/profile
(使对于profile文件的修改生效,我也不清楚这一步是不是必须,有时候执行有时候不执行.好像都成功了)

4.mvn -v 查看maven版本
如出现如下内容表示安装配置成功:

Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 08:51:28-0500)
Maven home: /usr/maven/apache-maven-3.0.5
Java version: 1.7.0_79, vendor: Oracle Corporation
Java home: /usr/java/jdk1.7.0_79/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.i686", arch: "i386", family: "unix"

安装总是简单的,难的在于安装完成后出现的各种问题都能灵活应对.接下来会跟大家分享一些项目开发到后期至测试上线遇到的困难及解决方案.

2.scala安装

1.下载
2.解压
3.配置环境变量 刷新
ok

3.编译安装spark

1.解压
tar -zxvf spark-1.3.1 -C “指定一个绝对路径”
2.使用mvn编译或者spark脚本make-distribution编译

使用maven编译：

mvn clean package
　　　-DskipTests -Phadoop-2.6
　　　-Dhadoop.version=2.6.0 -Pyarn
　　　-Phive-0.13.1 -Phive-thriftserver

注意事项：如果网络不能访问google，需要在maven中做如下配置：
首先在 home下找到“.m2”这个文件夹，cd到里面去，找到settings.xml文件，编辑它，找到<mirrors></mirrors>标签，在其包含处添加如下内容：

<mirror>
    <id>nexus-osc</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus osc</name>
    <url>http://maven.oschina.net/contentgroups/public/</url>
</mirror>

并且配置域名解析服务区：

#vi /etc/resolv.conf

内容：

nameserver 8.8.8.8
nameserver 8.8.4.4

使用spark自带的脚本编译：

先切换到spark的目录下,输入如下的命令：

./make-distribution.sh –tgz -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive-thriftserver

这里可能遇到的问题：
解析命令花费时间很长
解决：这个需要修改make-distribution.sh这个脚本文件，在文件的129行-138行，先注释掉之后，修改成固定值:

VERSION=1.3.1
SPARK_HADOOP_VERSION=2.6.0
SPARK_HIVE=1

编译得花费几个小时
编译完成之后的文件放在：.m2/opt/data01目录下，文件名以spark-1.3.1-bin-2.6.0.tgz命名