今天完成了实验四,对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解
之前安装完sbt后对于后面的打包需要下载一些文件一直失败,后来我把
在网上查询解决方案,找了很久终于
教程里spark-core 换成了spark-sql 然后就下载成功了
1.spark-shell 交互式编程
请根据给定的实验数据,在 spark-shell 中通过编程来计算以下内容
(1)该系总共有多少学生;
(2)该系共开设来多少门课程
;
(3)Tom 同学的总成绩平均分是多少;
(4)求每名同学的选修的课程门数
;
(5)该系 DataBase 课程共有多少人选
修;
(6)各门课程的平均分是多少
;
(7)使用累加器计算共有多少人选了 DataBase 这门课
。