• ElasticStack系列之十一 & 同步 mysql 数据的实践与思考


    问题

      1. jdbc-input-plugin 只能实现数据库的追加,对于 elasticsearch 增量写入,但经常 jdbc 源一端的数据库可能会做数据库删除或者更新操作。这样一来数据库与搜索引擎的数据库就出现了不对称的情况。当然你如果有开发团队可以写程序在删除或者更新的时候同步对搜索引擎操作。如果你没有这个能力,可以尝试我下面要说的方法。

      2. 当然网上后续又出现了 go-mysql-elasticsearch 项目,同步 binlog 的方式实现,这种方式是可以解决 1 中的问题,但是由于 ElasticSearch 版本的升级迭代以及纷繁复杂的映射类型,导致该项目无法及时的满足我们应用场景,故一定程度上还是需要我们自己来开发一套新的流程来完全满足我们的需要。

    解决办法

      在数据库中增加一个更新时间字段以及是否删除标志位,例如:

      我这里有一个数据表 article , mtime 字段定义了 ON UPDATE CURRENT_TIMESTAMP 所以每次更新 mtime 的时间都会变化,status 字段用于表征是否删除,默认为没有删除,具体如下:

      

      其中对 mtime 对应的 mysql 创建语句为:

      `mtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间'

      logstash 增加 mtime 的查询规则

      

      至此,可以分出两种解决方案:

      第一种:直接通过应用程序定时的读取 mysql 表,通过 mtime 和 status 字段来确定 ElasticSearch 是 更新(新增) 还是 删除,之后拼接对应的 bulkRequest 请求直接发送给 ElasticSearch 服务端。

      第二种:通过 logstash 来代替我们自己编写的应用程序,定时的扫描 mysql 表数据,再将数据同步到 ElasticSearch 服务端。

      

  • 相关阅读:
    jQuery选择器
    jquery处理json笔记
    观察者模式
    shiro自定义realm
    AysncTask更新progressbar
    android自定义控件
    任务的挂起和激活
    main方法添加2个集合存储图形
    矩形类-内部类刷新
    圆类-内部类多线程刷新
  • 原文地址:https://www.cnblogs.com/liang1101/p/7642365.html
Copyright © 2020-2023  润新知