7、Canal实现MySQL到ES实时同步2

1、安装Elasticsearch

https://www.elastic.co/guide/en/elastic-stack-get-started/7.4/get-started-elastic-stack.html

 

下载并解压缩

cd ~/app; 
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.0-linux-x86_64.tar.gz; 
tar -xzvf elasticsearch-7.4.0-linux-x86_64.tar.gz; 
ln -s elasticsearch-7.4.0 elasticsearch;

如果用命令行下载网速太慢了，可以直接复制网站到浏览器下载

 

 

配置环境变量：

sudo vim /etc/profile

 末尾新增：

#elasticsearch
export ES_HOME=/home/hadoop/app/elasticsearch 
export PATH=${ES_HOME}/bin:$PATH

 使环境变量生效：

source /etc/profile

基础配置

调大最大虚拟内存

sudo vim /etc/sysctl.conf

新增如下配置：

vm.max_map_count=262144

保存退出再执行如下命令：

sudo sysctl -p

配置ES

vim $ES_HOME/config/elasticsearch.yml

修改的配置如下：

network.host: 0.0.0.0 
discovery.seed_hosts: ["canal01"]

其余配置暂时保持不变即可。

 启停ES

$ES_HOME/bin/elasticsearch -d

可以看到启动的时候报错了

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

每个进程最大同时打开文件数太小

修改/etc/security/limits.conf文件，增加配置，用户退出后重新登录生效，我这里退出hadoop用户，再重新进入hadoop用户

*               soft    nofile          65536
*               hard    nofile          65536

再次启动ES:

 确认ES是否启动：

curl http://canal01:9200

2、安装Kibana

　　下载安装包并解压

cd ~/app; 
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz; 
tar -xzvf kibana-7.4.0-linux-x86_64.tar.gz; 
ln -s kibana-7.4.0-linux-x86_64 kibana;

配置环境变量

sudo vim /etc/profile

 末尾新增：

#kibana 
export KIBANA_HOME=/home/hadoop/app/kibana 
export PATH=${KIBANA_HOME}/bin:$PATH

使环境变量生效：

source /etc/profile

配置Kibana

vim $KIBANA_HOME/config/kibana.yml

修改配置如下：

server.host: "0.0.0.0" 
elasticsearch.hosts: ["http://canal01:9200"]

其余配置项暂时保持不变。

启动Kibana

nohup $KIBANA_HOME/bin/kibana > $KIBANA_HOME/kibana.out 2>&1 &

 显示超时，我们把kibana的等待时间调更长一些

修改配置文件

vim $KIBANA_HOME/config/kibana.yml

 重新运行kibana，还是报错

我们修改elasticsearch.yml配置文件：

 再重启ES，启动kibana.

查看kibana的后台日志

 都是正常的日志打印，没有报错。

浏览器访问http://canal01:5601/

 

 

 3、配置同步流

同步流程是MySQL-->Canal-Server(Instance)--->ClientAdapter--->ES，所涉及组件的关系如下：

 

准备业务库表

在MySQL中创建test库及test表作为业务库表，我们最终就是要同步test.test表的数据到ES

登录mysql执行以下命令

CREATE DATABASE IF NOT EXISTS test DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 
use test; 
DROP TABLE IF EXISTS `test`; 
CREATE TABLE `test` ( `uid` INT UNSIGNED AUTO_INCREMENT, 
`name` VARCHAR(100) NOT NULL,
 `age` int(3) DEFAULT NULL,
 `modified_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, 
PRIMARY KEY (`uid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

配置Instance

前面安装了Canal_Server，接下来需要给Canal_Server创建Instance来拉取MySQL的binlog。

登录Canal_Admin

新建instance

载入Instance模板

Instance配置不需要从零开始写，先载入模板即可

 

配置Instance

#################################################
## mysql serverId , v1.0.26+ will autoGen
# canal.instance.mysql.slaveId=0

# enable gtid use true/false
canal.instance.gtidon=false

# position info
canal.instance.master.address=canal01:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#################################################

canal.instance.fifilter.regex的书写格式如下： 

 Instance命名

 

保存之后，就自动显示在Instance列表页了

 

查看运行日志

注意：至此，MySQL的binlog数据就可以被Canal-Server拉取到了

编译ClientAdapter

ClientAdapter在1.1.5-alpha-1版本才支持ES7，因此需要自己编译

 

编译：

git clone https://github.com/alibaba/canal.git 
cd canal 
git checkout canal-1.1.5-alpha-1 
mvn clean package -DskipTests -Denv=release

 目前已经更新到1.1.6版本了，我这里尝试使用新版本试试。

 下载地址：https://github.com/alibaba/canal/releases

 

但是直接下载的话，1.1.5版本的源码还是有问题的，直接使用会报这个错误

 

因此我们把源码下载下来，然后修改源码，再编译

1.1.5版本的源码地址：https://github.com/alibaba/canal/tree/canal-1.1.5-alpha-1

下面进行源码修改：

第一处要修改的，41行代码

 

第二处要修改的，56行代码

 编译打包：

mvn clean package -DskipTests -Denv=release

这个就是我们需要的包

解压缩安装包

cd ~;
mkdir -p app/canal-adapter;
tar -zxvf canal.adapter-1.1.5-SNAPSHOT.tar.gz -C app/canal-adapter;
cd app/canal-adapter;

 配置环境变量

#canal-adapter
export CANAL_ADAPTER_HOME=/home/hadoop/app/canal-adapter
export PATH=${CANAL_ADAPTER_HOME}/bin:$PATH

 修改启动器配置

vim $CANAL_ADAPTER_HOME/conf/application.yml

server:
   port: 8081
spring:
   jackson:
      date-format: yyyy-MM-dd HH:mm:ss
      time-zone: GMT+8
      default-property-inclusion: non_null
canal.conf:
    mode: tcp # kafka rocketMQ
    canalServerHost: canal01:11111
# zookeeperHosts: slave1:2181
# mqServers: 127.0.0.1:9092 #or rocketmq
# flatMessage: true
    batchSize: 500
    syncBatchSize: 1000
    retries: 0
    timeout:
    accessKey: 
    secretKey:
    username: canal
    password: canal
    vhost:
    srcDataSources: 
      defaultDS:
      url: jdbc:mysql://canal01:3306/test?useUnicode=true
      username: root
      password: root%123
    canalAdapters:
    - instance: test_to_es # canal instance Name or mq topic name
      groups:
      - groupId: g1
        outerAdapters:
        - name: logger
# - name: rdb
# key: mysql1
# properties:
# jdbc.driverClassName: com.mysql.jdbc.Driver
# jdbc.url: jdbc:mysql://127.0.0.1:3306/mytest2?useUnicode=true
# jdbc.username: root
# jdbc.password: 121212
# - name: rdb
# key: oracle1
# properties:
# jdbc.driverClassName: oracle.jdbc.OracleDriver
# jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
# jdbc.username: mytest
# jdbc.password: m121212
# - name: rdb
# key: postgres1
# properties:
# jdbc.driverClassName: org.postgresql.Driver
# jdbc.url: jdbc:postgresql://localhost:5432/postgres
# jdbc.username: postgres
# jdbc.password: 121212
# threads: 1
# commitSize: 3000
# - name: hbase
# properties:
# hbase.zookeeper.quorum: 127.0.0.1
# hbase.zookeeper.property.clientPort: 2181
# zookeeper.znode.parent: /hbase
        - name: es7
          hosts: canal01:9300 # 127.0.0.1:9200 for rest mode
          properties:
            mode: transport # or rest
# security.auth: test:123456 # only used for rest mode
            cluster.name: elasticsearch

修改适配器表映射文件

      adapter将会自动加载 conf/es7 下的所有.yml结尾的表映射文件。

rm $CANAL_ADAPTER_HOME/conf/es7/*
vim  $CANAL_ADAPTER_HOME/conf/es7/test_test.yml

dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值
destination: test_to_es # cannal的instance或者MQ的topic
groupId: g1 # 对应MQ模式下的groupId, 只会同步对应groupId的数据
esMapping:
  _index: test_test # es 的索引名称
  _id: _id # es 的_id, 如果不配置该项必须配置下面的pk项_id则会由es自动分配
# pk: uid # 如果不需要_id, 则需要指定一个属性为主键属性
  upsert: true
# sql映射
  sql: "select a.uid as _id, a.name, a.age, a.modified_time from test a"
# objFields:
# _labels: array:; # 数组或者对象属性, array:; 代表以;字段里面是以;分隔的
# _obj: object # json对象
# etlCondition: "where a.c_time>='{0}'" # etl 的条件参数
  commitBatch: 2 # 提交批大小(生产上要大一些，这里设置为2)

 

 sql支持多表关联自由组合, 但是有一定的限制:
1. 主表不能为子查询语句
2. 只能使用left outer join即最左表一定要是主表
3. 关联从表如果是子查询不能有多张表
4. 主sql中不能有where查询条件(从表子查询中可以有where条件但是不推荐, 可能会造成数据同步的
不一致, 比如修改了where条件中的字段内容)
5. 关联条件只允许主外键的'='操作不能出现其他常量判断比如: on a.role_id=b.id and b.statues=1

6. 关联条件必须要有一个字段出现在主查询语句中比如: on a.role_id=b.id 其中的 a.role_id 或者 b.id
必须出现在主select语句中

 

 创建ES索引

PUT /test_test
{
"mappings": {
"properties": {
"name": {
"type": "text"
},
"age": {
"type": "integer"
},
"modified_time": {
"type": "date"
}
}
}
}

 替换MySQL驱动包

 我们安装的MySQL8，但是Canal-apapter默认的MySQL驱动不支持MySQL8，因此需要替换驱动包

[root@canal01 lib]# rm  mysql-connector-java-5.1.48.jar
rm: remove regular file ‘mysql-connector-java-5.1.48.jar’? y
[root@canal01 lib]# pwd
/home/hadoop/app/canal-adapter/lib
[root@canal01 lib]# ln -s /usr/share/java/mysql-connector-java-8.0.18.jar /home/hadoop/app/canal-adapter/lib/mysql-connector-java-8.0.18.jar

启动适配器

$CANAL_ADAPTER_HOME/bin/startup.sh
$CANAL_ADAPTER_HOME/bin/stop.sh
$CANAL_ADAPTER_HOME/bin/restart.sh

如果遇到这个问题：

 canal_manage库有脏数据导致，可以通过重新导入这个库尝试解决。

新增mysql数据

INSERT INTO test.test (name, age) VALUES ("张三",20);
INSERT INTO test.test (name, age) VALUES ("李四",21);
INSERT INTO test.test (name, age) VALUES ("王五",22);
INSERT INTO test.test (name, age) VALUES ("赵六",23);
INSERT INTO test.test (name, age) VALUES ("马七",24);

 查看ClientAdapter的执行日志

 

 是mysql的问题，这样看应该是mysql的root用户的权限不够

 

 给root用户开放访问权限：

update user set host='%' where user='root';

grant all privileges on *.* to 'root'@'%' with grant option; //这句执行两次

flush privileges;

重启ClientAdapter

 端口被占用，我换成8088端口

 实践证明，虽然有的教程里面是成功了，至少我这次实践是没有效果，即使通过修改源码的方式，结果还是报这个错误：

 当你在一个方向上面一直专研发现还是错误的时候，可以考虑换个方向了，这次我选择下载这个

 配置跟前面的一样，这里我不作赘述了，这个不用下载源码编译，直接解压，修改配置文件，启动clientadapter,

 这个时候有一点要注意了，因为cancal是检测的是增量数据的，如果原来在mysql对应的表已经导入数据了，直接查看es的索引看不到数据，

就一直觉得自己哪里配置有问题，一直在检测，但是到处看日志也没有发现什么。所以我们这个时候需要到mysql表里面再一次添加数据，

 

 我们再通过kibana查看es索引，增量数据同步过来了

 

 也可以通过修改数据看看效果

update test.test set age=50 where name='马七' ;

 

也可以查看clientadapter的后台日志

 

 以上我本人对于通过canal同步mysql的增量数据到es7的一些肤浅理解，本人也是个菜鸟中的菜鸟，有大佬有不同的理解和实践经历也可以大家一起分享交流！！！！