spark学习进度17——案例

需求：

计算每个城市的访问量

ip.txt：

ipaccess.log：

解决：

package com.bigdata.spark.core.wc

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object IpInfor {
  def main(args:Array[String]):Unit={
    //创建Spark运行配置对象
    val conf=new SparkConf()
    conf.setMaster("local[1]")
    conf.setAppName("ipInfor")
    //创建Spark上下文环境对象（连接对象）
    val sc=new SparkContext(conf)

    val rdd1: RDD[String] = sc.textFile("E:\\user\\IDEA\\sparkt1\\datas\\ip.txt")//读取文件  --规则数据
    val rdd2=sc.textFile("E:\\user\\IDEA\\sparkt1\\datas\\ipaccess.log")//读取文件  --日志数据
    val rdd3= rdd2.map(_.split("\\|")(1)) //访问日志信息  通过"|"进行拆分  只要IP
    val rdd4 = rdd1.map(a => {
      //规则库数据，通过"|"截取第2-3-6  --小限度  -- 大限度   --省份
      val splitData = a.split("\\|")
      (splitData(2).toLong, splitData(3).toLong, splitData(6))//startIp  endIp  province
    })
    //将rdd4的信息收集到本地  --收集的规则库数据
    val ipReles: Array[(Long, Long, String)] = rdd4.collect()

    //将IP地址和规则数据信息进行匹配
    val res: RDD[Array[(Long, Long, String)]] = rdd3.map(a => {
      val longIp = ip2Long(a)
      ipReles.filter(b => {
        longIp >= b._1 && longIp <= b._2
      })
    })
    val provineRes = res.map(a => {
      if (a == null || a.isEmpty)
        ("无效数据", 1)
      else
        (a(0)._3, 1)//获取省份信息 省份 1 省份 1  省份 1  省份 1
    })
    val finalRDD = provineRes.reduceByKey(_+_)
    finalRDD.foreach(println)

  }
  //把IP转换成long类型的方法  125.213.100.123 ------> 2111136891
  def ip2Long(ip: String): Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L

    for (i <- 0 until fragments.length) {
      ipNum = fragments(i).toLong | ipNum << 8L

    }
    val t2 = System.currentTimeMillis()
    ipNum
  }
}

结果：