• ES elasticsearch使用canal同步和其他同步方式的差异


    1、Canal同步

    1.1 canal官方已支持Mysql同步ES6.X

    同步原理,参见之前: 干货 | Debezium实现Mysql到Elasticsearch高效实时同步。

    canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能。canal adapter 的 Elastic Search 版本支持6.x.x以上。 需要借助adapter实现。

    1.2 同步效果

    1)已验证:仅支持增量同步,不支持全量已有数据同步。这点,canal的初衷订位就是“阿里巴巴mysql数据库binlog的增量订阅&消费组件”。

    2)已验证:由于采用了binlog机制,Mysql中的新增、更新、删除操作,对应的Elasticsearch都能实时新增、更新、删除。

    3)推荐使用场景 canal适用于对于Mysql和Elasticsearch数据实时增、删、改要求高的业务场景。 实时场景要求不高的业务场景,logstashinputjdbc也能满足。

    建议,做好选型甄别。

    2、同步版本:

    • ES:6.6.1

    • Mysql: 5.7.25

    • canal:v1.1.3-alpha-2

    • canal-adapter:v1.1.3-alpha-2

    canal下载地址:https://github.com/alibaba/canal/releases

    3、同步步骤解读

    3.1 启动canal,可作为常驻进程后台运行。

    官网已有详细描述https://github.com/alibaba/canal/wiki/QuickStart, 以下仅列举关键注意事项。

    对应下载文件:canal.deployer-1.1.3-SNAPSHOT.tar.gz, 可以实时关注最新版本。

    3.1.1 启用binlog

    canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,建议配置binlog模式为row.

    1. [mysqld]

    2. log-bin=mysql-bin #添加这一行就ok

    3. binlog-format=ROW #选择row模式

    4. server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复

    3.1.2 修改配置文件

    1. vi conf/example/instance.properties

    配置数据库基本信息。

    3.1.3 启动canal

    bin/startup.sh可通过日志排查错误。

    3.2 配置ElasticSearch适配器,并实现同步。

    官网已有详细描述:https://github.com/alibaba/canal/wiki/Sync-ES。 以下仅针对部署遇到的坑做描述。

    3.2.1 部署版本

    anal.adapter-1.1.3-SNAPSHOT.tar.gz,如有更新,建议使用最新版本。

    3.2.2 核心配置

    1. [root@localhost es]# cat mytest_user.yml

    2. dataSourceKey: defaultDS

    3. destination: example

    4. esMapping:

    5. _index: baidu_index

    6. _type: _doc

    7. _id: _id

    8. pk: id

    9. sql: "select a.id as _id, a.title, a.url, a.publish_time, a.content,

    10. from baidu_info as a"

    11. # objFields:

    12. # _labels: array:;

    13. etlCondition: "where a.id >= 1"

    14. commitBatch: 3000

    实现目的:库表id字段作为Elasticsearch的_id,以期实现自增。

    4、多表关联实现

    建议参考官网:https://github.com/alibaba/canal/wiki/Sync-ES 支持:

    • 一对一

    • 一对多

    • 多对多

    5、坑

    坑1:canal.adapter-1.1.2 启动失败

    启动失败:https://github.com/alibaba/canal/issues/1513 该问题在1.1.3版本已经修复。

    坑2:不支持全量同步

    全量同步建议使用logstash或者其他工具:

    坑3:必须先在ES创建好对应索引的Mapping

    否则,会没有识别索引,会报写入错误。

    坑4:多张表的同步如何实现?

    在canal.adapter-1.1.3/conf/es的新增*.yml配置即可。 也就是说,可以一张Mysql表一个配置文件。

    坑5:空指针异常错误

    解决方案:sql语句部分,指定对应库表id为ES中的_id,否则会报错。 举例:

    1. select sx_sid as _id, name from baidu_info

    坑6:基于 row 模式的 binlog 会不会记录变更前、变更后的值呢?

    • INSERT:只有变更后的值。

    • UPDATE:包含了变更前、变更后的值。

    • DELETE:变更前的值

    关于全量同步:https://github.com/alibaba/canal/issues/376

    6 同步选型小结

     转载自 铭意天下公众号

    螃蟹在剥我的壳,笔记本在写我,漫天的我落在枫叶上雪花上,而你在想我。 --章怀柔
  • 相关阅读:
    Oracle EBS-SQL (BOM-17):检查8层BOM.sql
    Oracle EBS-SQL (BOM-16):检查多层BOM.sql
    Oracle EBS-SQL (BOM-15):检查多层BOM(含common BOM).sql
    Oracle EBS-SQL (OM-1):查询订单发货明细.sql
    Oracle EBS-SQL (BOM-14):检查工艺路线明细.sql
    Oracle EBS-SQL (PO-14):检查供应商信息sql
    Oracle EBS-SQL (PO-13):检查采购物料无一揽子协议价格.sql
    Oracle EBS-SQL (INV-7):检查接收中记录数.sql
    Oracle EBS-SQL (INV-6):检查监督帐户别名处理.sql
    Oracle EBS-SQL (PO-12):检查期间请购单的下达记录数.sql
  • 原文地址:https://www.cnblogs.com/lovezhr/p/15061978.html
Copyright © 2020-2023  润新知