基于Spark的电影推荐系统（推荐系统~3）

第四部分-推荐系统-数据加工

• 本模块基于第2节加载到 数据仓库 里的数据做进一步的加工，加工后的数据主要用于 模型训练 。

前置准备

本节我采用Spark on Yarn 来跑作业
拓展：Hadoop YARN中内存的设置
（1）yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。
（2）yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量，默认是8192（MB）。
（3）yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。
$HADOOP_HOME/etc/hadoop
NM(yarn-site.xml)

<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>14336</value>
</property>

说明几点

1. 把数据仓库里 ratings表数据 切分成训练集和测试集数据 7:3 越靠近最近时间段的数据作为测试数据集。代码中的主要操作是需要将 ratings 表数据按照 timestamp 字段进行 升序 降序的
2. 调用cache table tableName or cacheTable即可将一张表缓存到内存中，来极大的提高查询效率,主要由于后面代码多次使用到
   

开始项目Coding

步骤一： 在第二节中的项目中，新建machiniing包，再新建RatingDataApp

package com.csylh.recommend.datamachining

import org.apache.spark.sql.{SaveMode, SparkSession}
import org.apache.spark.storage.StorageLevel

/**
  * Description:
  *   数据加工:  ratings 评分数据[≈0.27亿]切分成训练集和测试集数据 7:3
  *
  *   为模型训练 准备的RDD数据集
  *   ratings(userId int,movieId int,rating Double,timestamp int)
  *   ==> timestamp 拆分
  *   trainingData(userId int,movieId int,rating double) 前70% 训练集
  *   testData(userId int,movieId int,rating double)  后30%    测试集
  * @Author: 留歌36
  * @Date: 2019-07-17 14:55
  */
object RatingDataApp{
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder()
      .config("spark.sql.shuffle.partitions","8")
        .enableHiveSupport()
        .getOrCreate()

     // ps:这里cache内存不够，会报错,要增加内存才行
    //  spark sql 性能调优  https://spark.apache.org/docs/latest/sql-performance-tuning.html
    spark.catalog.cacheTable("ratings",StorageLevel.MEMORY_AND_DISK)


    // 取第一行.first() first ：返回的是一个Row对象 第一列元素.getLong(0)
    val count = spark.sql("select count(1) from ratings").first().getLong(0)
    val percent = 0.7

    val trainingdatacount = (count * percent).toInt  // 训练数据集大小
    val testdatacount = (count * (1 - percent)).toInt  // 测试数据集大小

    // 1.将数据按时间 升序排序,order by limit的时候，需要注意OOM(Out Of Memory)的问题: 全表扫描+limit
    val trainingDataAsc = spark.sql(s"select userId,movieId,rating from ratings order by timestamp asc")
    // 2.数据写入到HDFS上  这一步可能出现OOM
    trainingDataAsc.write.mode(SaveMode.Overwrite).parquet("/tmp/trainingDataAsc")
    // 3.将数据加载到数据仓库中去
    spark.sql("drop table if exists trainingDataAsc")
    spark.sql("create table if not exists trainingDataAsc(userId int,movieId int,rating double) stored as parquet")
    spark.sql("load data inpath '/tmp/trainingDataAsc' overwrite into table trainingDataAsc")

    // 将数据按时间 降序排序
    val trainingDataDesc = spark.sql(s"select userId,movieId,rating from ratings order by timestamp desc")
    trainingDataDesc.write.mode(SaveMode.Overwrite).parquet("/tmp/trainingDataDesc")
    spark.sql("drop table if exists trainingDataDesc")
    spark.sql("create table if not exists trainingDataDesc(userId int,movieId int,rating double) stored as parquet")
    spark.sql("load data inpath '/tmp/trainingDataDesc' overwrite into table trainingDataDesc")


    /**
      * 1.获取70% 升序排列数据进行训练模型
      */
    val trainingData = spark.sql(s"select * from trainingDataAsc limit $trainingdatacount")
    trainingData.write.mode(SaveMode.Overwrite).parquet("/tmp/trainingData")
    spark.sql("drop table if exists trainingData")
    spark.sql("create table if not exists trainingData(userId int,movieId int,rating double) stored as parquet")
    spark.sql("load data inpath '/tmp/trainingData' overwrite into table trainingData")

    /**
      * 2.获取30% 降序排列数据进行测试模型
      */
    val testData = spark.sql(s"select * from trainingDataDesc limit $testdatacount")
    testData.write.mode(SaveMode.Overwrite).parquet("/tmp/testData")
    spark.sql("drop table if exists testData")
    spark.sql("create table if not exists testData(userId int,movieId int,rating double) stored as parquet")
    spark.sql("load data inpath '/tmp/testData' overwrite into table testData")

  }

}

步骤二：将创建的项目进行打包上传到服务器
mvn clean package -Dmaven.test.skip=true

步骤三：编写shell 执行脚本

[root@hadoop001 ml]# vim machining.sh 
export HADOOP_CONF_DIR=/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

$SPARK_HOME/bin/spark-submit 
--class com.csylh.recommend.datamachining.RatingDataApp 
--master yarn 
--name RatingDataApp 
--driver-memory 4g 
--executor-memory 2g 
/root/data/ml/movie-recommend-1.0.jar

步骤四：执行 sh machining.sh 即可
sh machining.sh之前：

spark-sql> show tables;
default	links	false
default	movies	false
default	ratings	false
default	tags	false
Time taken: 2.145 seconds, Fetched 4 row(s)
spark-sql> 

sh machining.sh之后：
http://hadoop001:8088/cluster/apps/RUNNING

这样我们基于这份rating基础数据加工就完成了。接来下就是训练我们的模型做预测。

有任何问题，欢迎留言一起交流~~
更多文章：基于Spark的电影推荐系统：https://blog.csdn.net/liuge36/column/info/29285