• 在 Ubuntu14.04 上搭建 Spark 2.3.1(latest version)


    搭建最新的 Spark 2.3.1 。

    首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0  jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用

    jdk 10 会有问题,所以老老实实使用 jdk8.0

    Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/spark/launcher/Main : Unsupported major.minor version 52.0

    去往 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载 jdk 8.

    我们可以下载 rpm 包,然后使用 ubuntu 的 alien 命令安装,这个命令可以把 rpm 包转成 debian 包之后进行安装非常方便。使用命令

    sudo alien -i -c -v jdkxxxxx.rpm 
    进行安装

    然后将其地址加入到用户的环境变量里面 bashrc zshrc xxxxx

    export JAVA_HOME=/usr/java/jdk8.xxxx

    这里注意一下,安装完了之后可能会有一些信息,有些是成功之后的提醒,有一些是警告可以看一下,我安装完毕之后没有出现什么问题。

    下载最新版 spark

    http://spark.apache.org/downloads.html 

    这里我下载了最新的 spark2.3.1 | Pre-built for Hadoop2.7 and later

    解压 

    tar xvf sparkxxxx

    然后使用命令

    ./bin/run-example SparkPi 10 测试是否安装成功

    最后再去 spark-shell 看下是否能正常启动交互程序。

    我之前尝试使用最新的 jdk10 ,在验证 pi 程序计算的时候是可以正常运行的,但是无法正常进入交互程序。装回 jdk8 就正常了所以 jdk 的版本要注意。

    Reference:

    https://help.ubuntu.com/community/RPM/AlienHowto  Alien 用法

    http://www.oracle.com/technetwork/java/javase/downloads/index.html  JDK 列表

    http://spark.apache.org/downloads.html  Spark 官方下载源

  • 相关阅读:
    目标检测应用化之web页面(YOLO、SSD等)
    传统候选区域提取方法
    非极大值抑制(Non-Maximum Suppression,NMS)
    Darknet windows移植(YOLO v2)
    线性判别分析 LDA
    SVM 支持向量机
    特征-相似度衡量
    布隆过滤器 Bloom Filter
    聚类算法
    图论--最大流
  • 原文地址:https://www.cnblogs.com/piperck/p/9588531.html
Copyright © 2020-2023  润新知