Spark课堂测试

1、 数据采集（要求至少爬取三千条记录，时间跨度超过一星期）：（10分）

（1）    源程序代码：

# -*- coding: utf-8 -*-

import urllib.request

import json

import time

import random

def crawlProductComment(url):

    #读取原始数据(注意选择gbk编码方式)

    html = urllib.request.urlopen(url).read().decode('gbk')

    #从原始数据中提取出JSON格式数据(分别以'{'和'}'作为开始和结束标志)

    jsondata = html[27:-2]

    #print(jsondata)

    data = json.loads(jsondata)

    #print(data['comments'])

    #print(data['comments'][0]['content'])

    #遍历商品评论列表

    comments = data['comments']

    print(comments)

    return comments

data = []

for i in range(0,10):

    #iphone8评论链接,通过更改page参数的值来循环读取多页评论信息

    url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv89597&productId=5001175&score=0&sortType=5&page=' + str(i) +'&pageSize=10&isShadowSku=0&fold=1'

    comments = crawlProductComment(url)

    data.extend(comments)

    #设置休眠时间

    time.sleep(random.randint(0,1))

    print('-------',i)

with open('xiaomi_note_3.json','w') as f:

    json.dump(data,f)

（2）    数据采集到本地文件内容截图（显示统计条数超过3000条和时间跨度）

 

2、数据预处理：要求使用MapReduce或者kettle实现源数据的预处理，对大量的Json文件，进行清洗，以得到结构化的文本文件。（10分）

（1）去除用户评论表的重复记录结果截图；

 

（3）    按照清洗后的数据格式要求提取相应的数据字段文件截图。

 

3、 数据统计：生成Hive用户评论数据：（15分）

（1）在Hive创建一张表，用于存放清洗后的数据，表名为pinglun，（创建数据表SQL语句），创建成功导入数据截图：

drop table if exists pinglun;

create table pinglun(

id string,

guid string,

content string,

creationTime string,

isTop string,

score string,

userClient string,

status string,

referenceTime string,

nickname string,

days string

)

row format delimited fields terminated by ',';

load data local inpath '/opt/module/data/ScalaExam/test_01.csv' into table pinglun;

 

需求1：分析用户使用移动端购买还是PC端购买，及移动端和PC端的用户比例，生成ismobilehive表，存储统计结果；创建数据表SQL语句，创建成功导入数据截图

 

 

需求2：分析用户评论周期（收到货后，一般多久进行评论），生成dayssql表，存储统计结果；创建数据表SQL语句，创建成功导入数据截图

SELECT days,count(*) FROM bigwork_data.test_01 group by days;

 

 

需求3：分析会员级别（判断购买此商品的用户级别），生成userlevelname_out表，存储统计结果；创建数据表SQL语句，创建成功导入数据截图

SELECT user_grade,count(*) FROM bigwork_data.comment_111231_clean group by user_grade;

 

需求4：分析每天评论量，生成creationtime_out表，存储统计结果；创建数据表SQL语句，创建成功导入数据截图

SELECT creationTime,count(*) FROM bigwork_data.test_01_clean_day group by creationTime;

 

 

需求5：日期格式标准化后数据表前后对照截图

利用kattle格式化日期

 

使用剪切字符串

 

清洗前后对比

 

4、 利用Sqoop进行数据迁移至Mysql数据库：（5分）

五个表导入mysql数据库中五个表截图。

导入语句（只展示一个的，其他的类似）：

bin/sqoop export --connect "jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8" --username root --password 123456 --table area_data --num-mappers 1 --export-dir /user/hive/warehouse/area_data --input-fields-terminated-by ","

Ismobilehive表

 

Dayssql表

 

Userlevelname_out表

 

Creationtime_out表

 

Pinglun表