• 在 Ubuntu14.04 上搭建 Spark 2.3.1(latest version)


    搭建最新的 Spark 2.3.1 。

    首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0  jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用

    jdk 10 会有问题,所以老老实实使用 jdk8.0

    Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0

    去往 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载 jdk 8.

    我们可以下载 rpm 包,然后使用 ubuntu 的 alien 命令安装,这个命令可以把 rpm 包转成 debian 包之后进行安装非常方便。使用命令

    sudo alien -i -c -v jdkxxxxx.rpm 
    进行安装

    然后将其地址加入到用户的环境变量里面 bashrc zshrc xxxxx

    export JAVA_HOME=/usr/java/jdk8.xxxx

    这里注意一下,安装完了之后可能会有一些信息,有些是成功之后的提醒,有一些是警告可以看一下,我安装完毕之后没有出现什么问题。

    下载最新版 spark

    http://spark.apache.org/downloads.html 

    这里我下载了最新的 spark2.3.1 | Pre-built for Hadoop2.7 and later

    解压 

    tar xvf sparkxxxx

    然后使用命令

    ./bin/run-example SparkPi 10 测试是否安装成功

    最后再去 spark-shell 看下是否能正常启动交互程序。

    我之前尝试使用最新的 jdk10 ,在验证 pi 程序计算的时候是可以正常运行的,但是无法正常进入交互程序。装回 jdk8 就正常了所以 jdk 的版本要注意。

    Reference:

    https://help.ubuntu.com/community/RPM/AlienHowto  Alien 用法

    http://www.oracle.com/technetwork/java/javase/downloads/index.html  JDK 列表

    http://spark.apache.org/downloads.html  Spark 官方下载源

  • 相关阅读:
    Java中的责任链设计模式,太牛了!
    醒醒吧,世界上有技术驱动型公司!
    现身说法:37岁老码农找工作
    如何快速安全的插入千万条数据?
    这个函数,1987年在这了,别动它!
    word自动备份,word误删内容恢复
    给Ubuntu 16.04更换更新源
    Django分别使用Memcached和Redis作为缓存的配置(Linux环境)
    Pycharm远程连接服务器,并在本地调试服务器代码
    Navicat远程连接阿里云服务器的mysql
  • 原文地址:https://www.cnblogs.com/piperck/p/9588531.html
Copyright © 2020-2023  润新知