前提:在linux和windows系统的mysql数据库中创建相同结构的数据库和表,我的linux中mysql是用docker实现的(5.7版本),拉取mysql镜像后,当我们创建容器时,一定要记得对目录进行挂载,否则后期是无法开启logbin功能的。
1.开启mysql的logbin功能
#拉取镜像 docker pull mysql #创建容器 docker run -p 33306:3306 --name mysql -v /root/mysql/conf:/etc/mysql/mysql.conf.d -v /root/mysql/logs:/logs -v /root/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -di mysql
(1)可以通过进入mysql然后修改/etc/mysql/mysql.conf.d/mysqld.cnf文件
docker exec -it mysql /bin/bash cd /etc/mysql/mysql.conf.d #docker中并没有vim命令 所以可以选择安装vim apt-get update apt-get install -y vim #安装完后可以进行修改
(2)也可以使用命令进行修改
docker exec myMysql bash -c "echo 'log-bin=/var/lib/mysql/mysql-bin' >> /etc/mysql/mysql.conf.d/mysqld.cnf"
docker exec myMysql bash -c "echo 'server-id=123454' >> /etc/mysql/mysql.conf.d/mysqld.cnf"
(3)因为进行了目录挂载所以也可以直接在宿主机上修改
然后重启mysql
docker restart myMysql
检查binlog功能是否有开启
mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin | ON | +---------------+-------+ 1 row in set (0.00 sec)
log_bin是ON则代表开启了。
2.在linux中安装canal服务并启动
下载地址:
https://github.com/alibaba/canal/releases
(1)下载之后,放到目录中,先创建好目录,目录任意,linux中要有Java环境
mv 安装包 /usr/local/canal/
然后解压
tar -zvxf 安装包
(2)修改配置文件
vi conf/example/instance.properties
#需要改成自己的数据库信息(linux中mysql的ip和端口) canal.instance.master.address=192.168.44.132:3306 #需要改成自己的数据库用户名与密码 该用户必须有权限来跨系统连接 #可以通过windows中数据库连接工具进行测试,连上就代表有权限 canal.instance.dbUsername=canal canal.instance.dbPassword=canal #需要改成同步的数据库表规则,例如只是同步一下表 #canal.instance.filter.regex=.*\..* canal.instance.filter.regex=guli_ucenter.ucenter_member
若没有权限,则给用户赋予权限
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal'; GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; FLUSH PRIVILEGES;
注意:
mysql 数据解析关注的表,Perl正则表达式. 多个正则之间以逗号(,)分隔,转义符需要双斜杠(\) 常见例子: 1. 所有表:.* or .*\..* 2. canal schema下所有表: canal\..* 3. canal下的以canal打头的表:canal\.canal.* 4. canal schema下的一张表:canal.test1 5. 多个规则组合使用:canal\..*,mysql.test1,mysql.test2 (逗号分隔) 注意:此过滤条件只针对row模式的数据有效(ps. mixed/statement因为不解析sql,所以无法准确提取tableName进行过滤)
(3)进入bin目录下启动
cd bin sh startup.sh
(4)关闭服务
./stop.sh