首先肯定先是把整个算法包给打出来,打出来之后,打印出来之后,是要通过一个工具,将这个作业提交给整个spark集群
首先一个spark是怎么启动这些作业的,首先就是一个最简单的例子,看一下spark里面是怎么去执行的
SparkContext: Added JAR file:///home/hon/Downloads/spark-3.1.1-bin-hadoop2.7/examples/jars/scopt_2.12-3.7.1.jar at spark://station.lan:42700/jars/scopt_2.12-3.7.1.jar with timestamp 1621816398607
这里就是一个最简单的jar包了。所以说java的jar包里是包含了那些可以执行的类,这些可以执行的类就是将来程序执行的入口了。这些可执行的类就是将来程序的入口了
jar包其实就是一些class文件的集合,然后javac要做的事情呢,就是根据把java文件编译成class文件,然后怎么一个类就执行了,很是奇怪
都是按照
哎~~终于做出来了,自己的第一个spark作业终于跑起来了。
java打包的时候一定要注意,jar包里面的目录结构一定是要和包的路径相匹配的。
所以spark做到了对数据的建模,然后对数据有了特定模式的建模;
from shima:现在所有的大数据平台,都想做sql这一套东西。
现在所有的大数据平台,也都是想着做sql这一套东西。
将来也是一个大文件直接输出的