• spark(3)


    >>非集成:

    环境需要

      * spark 2.4.0

      * scala 2.11.12

      * sbt (打包)

    开发过程

      1、shell命令下创建项目目录结构 

          *****/ project / src / main / scala 

                        -> . / ClassName.scala ( touch + gedit 命令)      

          *****/ project 

               -> . / ******.sbt (Scala & spark 配置信息)

      2、编写代码

      3、sbt打包jar - sbt package

      4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

     目录结构:

        /src  - 手动编写

        simple.sbt - 手动编写

        /project  - sbt 打包生成

        /target  - sbt 打包生成

    >>集成环境

      * Eclipse +maven/sbt

      * Scala IDE for  eclipse

      * Intellij IDEA + maven/sbt

      使用过程:

        创建项目

        编写代码

        运行调试

    【问题】:这几个工具配合使用maven/sbt 老由问题

       待处理 :1、网速慢   2、配置不熟悉

    ...................................................
  • 相关阅读:
    cocos3.2触摸事件接收顺序
    触摸点是否在按钮矩形内
    scrollview里container拖动显示问题
    cocos2dx 显示对象尺寸
    allocating an object of abstract class
    学习scorllview
    cocos2dx引用计数
    addchild 报错不能添加nil
    有用的宏
    一段SQL
  • 原文地址:https://www.cnblogs.com/floakss/p/10526213.html
Copyright © 2020-2023  润新知