• 启动一个最简单的spark作业


    首先肯定先是把整个算法包给打出来,打出来之后,打印出来之后,是要通过一个工具,将这个作业提交给整个spark集群

    首先一个spark是怎么启动这些作业的,首先就是一个最简单的例子,看一下spark里面是怎么去执行的

    SparkContext: Added JAR file:///home/hon/Downloads/spark-3.1.1-bin-hadoop2.7/examples/jars/scopt_2.12-3.7.1.jar at spark://station.lan:42700/jars/scopt_2.12-3.7.1.jar with timestamp 1621816398607

    这里就是一个最简单的jar包了。所以说java的jar包里是包含了那些可以执行的类,这些可以执行的类就是将来程序执行的入口了。这些可执行的类就是将来程序的入口了

    jar包其实就是一些class文件的集合,然后javac要做的事情呢,就是根据把java文件编译成class文件,然后怎么一个类就执行了,很是奇怪

    都是按照

     哎~~终于做出来了,自己的第一个spark作业终于跑起来了。

    java打包的时候一定要注意,jar包里面的目录结构一定是要和包的路径相匹配的。

    所以spark做到了对数据的建模,然后对数据有了特定模式的建模;

    from shima:现在所有的大数据平台,都想做sql这一套东西。

    现在所有的大数据平台,也都是想着做sql这一套东西。

    将来也是一个大文件直接输出的

  • 相关阅读:
    POJ1417 True Liars
    POJ2912 Rochambeau
    POJ3904 Sky Code
    [SDOI2016]排列计数
    POJ2947 Widget Factory
    HDU5015 233 Matrix
    Problem 2242. -- [SDOI2011]计算器
    POJ2480 Longge's problem
    Problem 2818. -- Gcd
    LA3510 Pixel Shuffle
  • 原文地址:https://www.cnblogs.com/honpey/p/14807098.html
Copyright © 2020-2023  润新知