014 在Spark中完成PV与UV的计算，重在源代码

1.代码

object LogPVAndUV{
    def main(args:Array[String]):Unit={
        val conf=new SparkConf()
            .setMaster("local[*]")
            .setAppName("PVAndUV")
        val sc=SparkContext.getOrCreate(conf)
        val logPath="/user/beifeng/spark/logs/page_views.data"
        val logRDD=sc.textFile(logPath)
        val filterRDD=logRDD.filter(_.length>0)
        //转换
        val mapRDD=filterRDD.map(line=>{
            val arr=line.split("	")
            if(arr.length==7){
                val date=arr(0).trim
                val url=arr(1)
                val uuid=arr(2)
                (date.subString(0,Math.min(10.date.length)).trim,url,uuid)
            }else{
                (null,null,null)
            }
        }).filter(tuple=>tuple._1!=null&&tuple._1.length>0)
        //PV计算
        val pvRDD=mapRDD
            .filter(tuple=>tuple._2.length>0)
            .map(tuple=>(tuple._1,1))
            .reduceByKey(_+_)
        //UV计算
        val uvRDD=mapRDD
            .filter(tuple=>tuple._3.length>0)
            .map(tuple=>(tuple._1,tuple._3))
            .distinct
            .reduceByKey(_+_)
        //合并
        val pvAndUv=pvRDD.join(uvRDD).map{
            case (date,(pv,uv))=>{
                (date,pv,uv)
            }
        }
        //输出
        pvAndUv.saveAsTextFile("/user/beifeng/spark/output/"+System.currentTimeMillis())
        sc.stop()
    }
}

2.PS

　　rdd.foreachPartition(iter=>{

　　　　//

　　})

　　对iter迭代器中的数据进行输出，iter表示的是一个分区的所有数据，这里的迭代器和groupbyKey中的实现方式不同，不会产生OOM

　　主要用于将数据输出到非HDFS的存储系统中，不如MYSQL,Redis