Canal 与 Kafka 集成安装与配置
vim 编辑中 >>> 后为列出原内容其后紧接的 <<< 行为对其的更改，没有前置符号的表示新添
主机环境
- CentOS 7.6 内存至少 1.5G，否则服务会启动不起来
软件版本
- MySQL 5.7.28
- OpenJDK 8
- Zookeeper 3.5.6-bin
- Kafka 2.12(Scala)-2.3.0
- Canal deployer-1.1.4
MySQL 安装
采用从官方源直接安装的方式
- 添加 MySQL 5.7 官方源
rpm -ivh https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm - 更新源
yum -y update - 安装 MySQL 5.7
yum -y install mysql-community-server - 添加 Canal 所需 MySQL 配置
vim /etc/my.cnf[mysqld] 下新添配置
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
- 启动 MySQL
systemctl start mysqld查看状态systemctl status mysqld - 查看生成的临时密码
cat /var/log/mysqld.log | grep 'temporary password' - 初次配置
mysql_secure_installation按照提示完成配置 - 测试中允许 root 远程连接并添加 Canal 所需的用户，
mysql -uroot -p后执行 SQL
> USE mysql;
> UPDATE user SET Host = '%' WHERE User = 'root';
> CREATE USER canal IDENTIFIED BY 'Canal123!';
> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
> FLUSH PRIVILEGES;
> EXIT
Java 安装
采用从官方源直接安装的方式
- 安装源中的 OpenJDK 8
yum install -y java-1.8.0-openjdk.x86_64 - 验证安装
java -version
Zookeeper 安装
- 在
https://zookeeper.apache.org/releases.html中查找 zookeeper 最新 bin 版本压缩包的 HTTP 方式的下载链接 - 下载压缩包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz - 解压缩
mkdir -p tmp/zookeeper/ && tar zxvf apache-zookeeper-3.5.6-bin.tar.gz -C tmp/zookeeper/ - 将解压缩后的软件移动至 /usr/local 下
mkdir /usr/local/zookeeper && mv tmp/zookeeper/apache-zookeeper-3.5.6-bin/* /usr/local/zookeeper/ - 添加 zookeeper 环境变量
vim /etc/profile末尾添加
# Set zookeeper env
export ZOOKEEPER_HOME=/usr/local/zookeeper/
export PATH=$PATH:$ZOOKEEPER_HOME/bin
- 使环境变量生效
source /etc/profile - 创建配置文件，从默认的配置文件创建，因为 zookeeper 启动时会去找 conf/zoo.cfg 作为配置文件
cd /usr/local/zookeeper/
cp conf/zoo_sample.cfg conf/zoo.cfg
mkdir data
- 编辑配置
vim conf/zoo.cfg，此处配置的是单机，如果需要配置集群也是在这里
>>> dataDir=/tmp/zookeeper
<<< dataDir=/usr/local/zookeeper/data # 这是 zookeeper 的数据目录
admin.serverPort=2191
- 启动 zookeeper
zkServer.sh start查看状态zkServer.sh status - 返回工作目录
cd -
Kafka 安装
- 在
https://kafka.apache.org/downloads中查找 kafka 最新版本的 HTTP 方式下载链接 - 下载压缩包
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz - 解压缩
mkdir tmp/kafka && tar zxvf kafka_2.12-2.3.0.tgz -C tmp/kafka - 将解压缩后的软件移动至 /usr/local 下
mkdir /usr/local/kafka && mv tmp/kafka/kafka_2.12-2.3.0/* /usr/local/kafka && cd /usr/local/kafka - 添加 kafka 环境变量
vim /etc/profile末尾添加
# Set Kafka env
export KAFKA_HOME=/usr/local/kafka/
export PATH=$PATH:$KAFKA_HOME/bin
- 使环境变量生效
source /etc/profile - 修改配置文件
vim config/server.properties，配置集群的话还需要更改broker.id
>>> zookeeper.connect=localhost:2181 # 这里需要配置成 zookeeper 的地址，这里默认就是正确的
>>> #listeners=PLAINTEXT://:9092
<<< listeners=PLAINTEXT://:9092 # 删除前面的注释符号
- 启动 Kafka 守护进程
kafka-server-start.sh -daemon config/server.properties & - 测试创建一个 topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test列出 topickafka-topics.sh --list --zookeeper localhost:2181 - 返回工作目录
cd -
Canal 安装
- 在
https://github.com/alibaba/canal/releases中查找 canal 最新deploy 版本的下载链接 - 下载压缩包
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz - 解压
mkdir tmp/canal && tar zxvf canal.deployer-1.1.4.tar.gz -C tmp/canal/ - 将解压后的文件复制进 /usr/local，
mkdir /usr/local/canal && mv tmp/canal/* /usr/local/canal/ - 创建测试配置直接使用自带的样例进行更改，并复制出默认配置以备后期增加库时使用，这里的每一个文件夹就代表一个数据源，多个数据源就复制出多个文件夹后在 canal.properties 的 canal.destinations 里逗号分隔进行配置
mv conf/example/ conf/test && cp conf/test/instance.properties instance.properties.bak - 修改单个数据源的配置
vim conf/test/instance.properties
>>> canal.instance.master.address=127.0.0.1:3306 # 数据库服务器地址
>>> canal.instance.dbUsername=canal # 数据库用户名
>>> canal.instance.dbPassword=canal
<<< canal.instance.dbPassword=Canal123! # 数据库密码
>>> canal.instance.filter.regex=.*\..* # 数据表过滤正则，dbName.tbName，默认的是所有库的所有表
>>> canal.mq.topic=example
<<< canal.mq.topic=test # 这个数据库存储进 Kafka 时使用的 topic
- 修改 Canal 全局设置
vim conf/canal.properties
>>> canal.destinations = example
<<< canal.destinations = test # 这里配置开启的 instance，具体方法上面步骤有说明
>>> canal.serverMode = tcp
<<< canal.serverMode = kafka # 更改模式，直接把数据扔进 Kafka
>>> canal.mq.servers = 127.0.0.1:6667
<<< canal.mq.servers = 127.0.0.1:9092 # Kafka 的地址
>>> canal.mq.batchSize = 16384
<<< canal.mq.batchSize = 16384 # 这里没有更改，值应该小于 Kafka 的 config/producer.properties 中 batch.size，但是 Kafka 里没设置，这里也就不更改了
>>> canal.mq.flatMessage = false
<<< canal.mq.flatMessage = true # 使用文本格式（JSON）进行传输，否则 Kafka 里扔进去的是二进制数据，虽然不影响，但是看起来不方便
- 开启 Canal
bin/startup.sh，因为 Canal 的脚本名称都太普通，所以没有添加到 PATH 里 - 查看日志是否有异常
vim logs/canal/canal.logvim logs/test/test.log - 测试，连上数据库尝试执行更改 SQL
CREATE DATABASE IF NOT EXISTS test;
USE test;
CREATE TABLE test_tb(
c1 INT COMMENT "中文测试",
c2 VARCHAR(36)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
- 查看 Kafka 中的数据，列出所有 topic，
kafka-topics.sh --list --zookeeper localhost:2181，消费其中的数据kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning此时应该已经可以列出创建表时的语句
后期 Bug 修复：
- 消费端 Kafka 不进数据，Canal 日志报错
org.apache.kafka.common.errors.RecordTooLargeException，认为是 Kafka 消息体大小限制造成的，需要同时修改 Kafka 与 Canal 消息体的最大限制- 修改 Kafka 配置，
server.properties中修改或添加配置项message.max.bytes=100000000，producer.properties中修改或添加配置项max.request.size=100000000，consumer.properties中修改或添加配置项max.partition.fetch.bytes=100000000，重启 Kafka - 修改 Canal 配置，
canal.properties修改canal.mq.maxRequestSize参数值为90000000，重启 Canal - 查看 Canal 日志是否报错
Could not find first log file name in binary log index file at...如果报错则停止 Canal ，再删除实例配置下的meta.dat文件，再启动 Canal 即可
- 修改 Kafka 配置，