一、学习视频
https://www.bilibili.com/video/BV1oE411s7h7?p=27
二、分区的作用
1.增加并行度
2.减少通信开销
三、自定义分区方法
调用SparkContext对象的.textFile()或者.parallelize()方法,在方法内传递两个参数,第一个是需要读取的数据,第二个是设置的分区数
三、单词词频统计
一、学习视频
https://www.bilibili.com/video/BV1oE411s7h7?p=27
二、分区的作用
1.增加并行度
2.减少通信开销
三、自定义分区方法
调用SparkContext对象的.textFile()或者.parallelize()方法,在方法内传递两个参数,第一个是需要读取的数据,第二个是设置的分区数
三、单词词频统计