• 2020寒假生活学习日记(三)


    安装sbt
    sbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar

    下载后,执行如下命令拷贝至 /usr/local/sbt 中:

     

    接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容:

    为 ./sbt 脚本增加可执行权限:

     

     最后运行如下命令,检验 sbt 是否可用

     Scala应用程序代码
    在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录:

    在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp/src/main/scala/SimpleApp.scala),添加代码如下:

      ./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:

    为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:

     我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):

    /usr/local/sbt/sbt package

     

     说明成功。

    最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

    遇到的问题:在修改spark版本的时候,由于spark版本是3.0.0-preview2,但是只是改成3.0.0,导致在将整个应用程序打包成 JAR的时候出现错误,找不到版本为3.0.0的spark。

  • 相关阅读:
    668. Kth Smallest Number in Multiplication Table
    658. Find K Closest Elements
    483. Smallest Good Base
    475. Heaters
    454. 4Sum II
    441. Arranging Coins
    436. Find Right Interval
    410. Split Array Largest Sum
    392. Is Subsequence
    378. Kth Smallest Element in a Sorted Matrix
  • 原文地址:https://www.cnblogs.com/jccjcc/p/12255078.html
Copyright © 2020-2023  润新知