• spark1.2.0安装



    standalone


    安装SCALA

    下载、解压、加入环境变量


    安装spark1.2.0

    下载、解压、加入环境变量

    tar zxvf spark-1.2.0-bin-2.2.0.tgz
    export SPARK_HOME=/home/hadoop/spark-1.2.0-bin-2.2.0
    export PATH=$PATH:$SPARK_HOME/bin
    
    export SCALA_HOME=/home/hadoop/scala-2.11.4
    export PATH=$PATH:$SCALA_HOME/bin

    在spark目录下的conf目录中

    cp spark-env.sh.template spark-env.sh
    vi spark-env.sh

    在最下面加入

    export SCALA_HOME=/home/hadoop/scala-2.11.4
    export JAVA_HOME=/home/hadoop/jdk1.7.0_71
    export SPARK_MASTER_IP=hadoop
    export SPARK_WORKER_MEMORY=1000m
    export HADOOP_CONF_DIR=/home/hadoop/hadoop2.2.0/etc/hadoop

    在spark目录下的conf目录中

    cp slaves.template slaves
    vi slaves

    加入集群中的worker机器IP或者名称

    启动(可以分开启动,也可以一起启动):

    sbin/start-all.sh

    测试

    bin/run-example SparkPi

    关于spark的介绍,我觉得下面这篇文章介绍的很好

    http://www.aboutyun.com/thread-11413-1-1.html


    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    laravel前后端分离分页查询
    swagger-open api 手动编写规范
    linux开启端口命令
    docker容器的基本使用
    centos更换阿里云的yum源
    VS中生成pdf
    代码整洁之道阅读笔记-02
    周总结
    Mongo的基本操作
    Redis的基本操作
  • 原文地址:https://www.cnblogs.com/admln/p/installSpark1-2-0.html
Copyright © 2020-2023  润新知