Spark- 根据IP获取城市(java)

开源 IP 地址定位库 ip2region 1.4

ip2region 是准确率 99.9% 的 IP 地址定位库，0.0x毫秒级查询，数据库文件大小只有 2.7M，提供了 Java、PHP、C、Python、Node.js、Golang 的查询绑定和 Binary、B树、内存三种查询算法，妈妈再也不同担心我的 IP 地址定位！

ip2region 1.4 更新如下：

1. 数据升级至 2018/01/12 的版本，包括 ip.merge.txt 和 ip2region.db。

2. 升级的数据增加了 ipip 的缺失验证，主数据源缺失的数据使用 ipip 补充。

升级提醒：因为每次更新都有可能会更改 ip2region.db 的生成配置，请保持使用最新版本的 binding。

下载地址：

码云：https://gitee.com/lionsoul/ip2region/tree/v1.4-release
github：https://github.com/lionsoul2014/ip2region/releases/tag/v1.4-release

一.Java - 使用Ip2Region（ip地址定位库）转换IP和地区

创建Maven工程（略）

如果使用IDEA，可先创建普通工程，然后右键点击工程，执行“Add Frameowrk support”，选择Maven，即可快速转换为Maven工程。

引入Maven依赖

   <dependencies>
    <dependency>
        <groupId>org.lionsoul</groupId>
        <artifactId>ip2region</artifactId>
        <version>1.4</version>
    </dependency>
    </dependencies>

import org.lionsoul.ip2region.*;

/**
 * Ip2Region测试类
 * @author Zebe
 */
public class Ip2RegionTest {

    /**
     * 程序入口
     * @param args 运行参数
     */
    public static void main(String[] args) throws Exception {
        String ip = "47.95.196.158";
        // 判断是否为IP地址
        boolean isIpAddress = Util.isIpAddress("12123.34"); // false
        isIpAddress = Util.isIpAddress(ip); // true

        // IP地址与long互转
        long ipLong = Util.ip2long(ip); // 794805406
        String strIp = Util.long2ip(ipLong); // 47.95.196.158

        // 根据IP搜索地址信息
        DbConfig config = new DbConfig();
        String dbfile = "D:\data\ip2region.db"; // 这个文件若没有请到以下地址下载：
        // https://gitee.com/lionsoul/ip2region/tree/master/data
        DbSearcher searcher = new DbSearcher(config, dbfile);

        // 二分搜索
        long start = System.currentTimeMillis();
        DataBlock block1 = searcher.binarySearch(ip);
        long end = System.currentTimeMillis();
        System.out.println(block1.getRegion()); // 中国|华东|浙江省|杭州市|阿里巴巴
        System.out.println("使用二分搜索，耗时：" + (end - start) + " ms"); // 1ms

        // B树搜索（更快）
        start = System.currentTimeMillis();
        DataBlock block2 = searcher.btreeSearch(ip);
        end = System.currentTimeMillis();
        System.out.println("使用B树搜索，耗时：" + (end - start) + " ms"); // 0ms
    }
}

其中需要下载ip2region.db：

二.使用Ip2Region（ip地址定位库）转换IP和地区

    public static void DownLoadDbFile(String path) {
        
        FileSystem fs,local;
        try {
            fs = FileSystem.get(new URI(path.substring(0, path.indexOf('/', path.indexOf(':') + 3))), new Configuration());
            local = FileSystem.getLocal(new Configuration());
            local.delete(new Path("/tmp/ip2region.db"), true);
            fs.copyToLocalFile(false, new Path(path), new Path("/tmp/ip2region.db"));
        } catch (IOException e) {
            // TODO 自动生成的 catch 块
            SparkLog.error(e);
        } catch (URISyntaxException e) {
            // TODO 自动生成的 catch 块
            SparkLog.error(e);
        }
    }

    
    public static void Ip2RegionTest() {
        FileSystem fs,local;
        String path="hdfs://10.8.18.74:8020/user/lyy/data/ip2region.db";//先将db文件上传到环境中的hdfs上
        try {
            fs = FileSystem.get(new URI(path.substring(0, path.indexOf('/', path.indexOf(':') + 3))), new Configuration());
            local = FileSystem.getLocal(new Configuration());
            local.delete(new Path("/tmp/ip2region.db"), true);
            fs.copyToLocalFile(false, new Path(path), new Path("/tmp/ip2region.db"));//下载db文件到相应的driver和excutor节点本地的/tmp的目录下
        } catch (Throwable e) {
            // TODO 自动生成的 catch 块
                e.printStackTrace();
        } 
        
        String ip ="";
        
        DbConfig config;
        try {
            JavaSparkContext sc = SparkCommon.getJavaSparkContext();

            JavaRDD<String> rdd = sc.parallelize(Arrays.asList("91.235.133.117","62.87.232.88"));
            
            config = new DbConfig();
            DbSearcher searcher = new DbSearcher(config, "/tmp/ip2region.db");
            SparkLog.info(rdd.count());
            //以下的迭代及转化都在driver端完成，这里存在风险，当数据量超大的时候，driver可能出现OOM
            Iterator<String> It = rdd.collect().iterator();
            while(It.hasNext()){
                ip = It.next();
                DataBlock block2 = searcher.btreeSearch(ip);
                SparkLog.info(block2.getRegion());
            }
            
        } catch (Throwable e) {
            // TODO 自动生成的 catch 块
            e.printStackTrace();
        }
        /*这里展示的转换后的ip和region的信息如何再次组织成rdd，并转换成dataset的一种方法
          List<Row> lst = new ArrayList<>();
            while(It.hasNext()){
                ip = It.next();
                DataBlock block2 = searcher.btreeSearch(ip);
                lst.add(RowFactory.create(ip,block2.getRegion()));
            }
            SparkSession session = SparkCommon.getSparkSessionInstance();
            
            StructType schema = new StructType(new StructField[]{
                        new StructField("hostname1", DataTypes.StringType, false, Metadata.empty()),
                        new StructField("country", DataTypes.StringType, false, Metadata.empty()),
            });
            
            Dataset<Row> ip2region = session.createDataFrame(SparkCommon.getJavaSparkContext().parallelize(lst), schema);
            
            return df.join(ip2region,df.col("hostname").equalTo(ip2region.col("hostname1")));*/
        
    }