转自：https://blog.csdn.net/qq_30921461/article/details/78320750
http://kafka.apache.org/quickstart
http://maxwells-daemon.io/quickstart/
文档主题：
如何使用Maxwell实时监听Mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口
具体步骤
一：在linux环境下安装部署好mysql
1 开启binlog
sudo vi /etc/my.cnf
2 mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed）
server-id=1
log-bin=master（这一步开启binlog）
binlog_format=row
3重启msyql服务
sudo service mysqld restart
4查看是否已经开启binlog
Mysql>show variables like '%log_bin%';
此时，可以在目录/var/lib/mysql下看到生成了相应的binlog监听日志文件，如图，master.000001文件，每次重启msyql服务，就会生成一个新的监听文件
第二大步骤：配置Maxwell相关的部署工作
1下载Maxwell
官网
http://maxwells-daemon.io/
组件下载链接
https://github.com/zendesk/maxwell/releases/download/v1.10.7/maxwell-1.10.7.tar.gz
2 安装Maxwell
tar-zxf maxwell-1.10.6.tar.gz -C ../modules/
3给mysql授权
mysql> GRANT ALL on maxwell.* to'maxwell'@'%' identified by 'XXXXXX';
mysql> GRANT SELECT, REPLICATION CLIENT,REPLICATION SLAVE on *.* to 'maxwell'@'%';
以上图片为官网参考
以我自己的为例：
GRANTALL on *.* to 'user01'@'%' identified by '123456';
把所有数据库的所有表授权给user01用户以密码123456登录
GRANTSELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'user01'@'%';
flushprivileges;
4开启maxwell命令行（注意，如果没有设置，maxwell默认是把监听的mysql的binlog日志发送到kafka的主题叫maxwell的topic上的）
bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=kafka --kafka.bootstrap.servers=localhost:9092以上为官网参考，我自己的具体的demo
bin/maxwell --user='user01' --password='123456'--host='192.168.136.129' --producer=kafka --kafka.bootstrap.servers=mw:9092解释：host参数是安装mysql的那台主机，最后的kafka.bootstrap.servers是安装kafka集群的节点主机名和端口号
第三大步骤，kafka相关配置
说明（以下我的kafka是安装在主机名叫mw，注意kafka里的配置文件端口号要和命令行里给的端口号一致）
1首先启动zookeeper
$sbin/zkServer.sh start
2开启kafka命令行
bin/kafka-server-start.shconfig/server.properties
3创建一个主题叫maxwell以便于接受数据
bin/kafka-topics.sh--create --zookeeper mw:2181 --replication-factor 1 --partitions 1 --topic maxwell
4启动生产者窗口
bin/kafka-console-producer.sh--broker-list mw:9092 --topic maxwell
5启动消费者窗口
bin/kafka-console-consumer.sh--zookeeper mw:2181 --topic maxwell --from-beginning
第四大步：最终测试
此时，mysql的binlog已经开启，maxwell命令行也开启，kafka的生产者消费者窗口也开启在监听
开始往mysql里插入修改数据
通过写的jdbc写的多线程程序批量插入修改数据的程序造数据
此时，查看kafka的消费者窗口。可以看到，mysql插入修改的数据，以json形式被maxwell发送到了kafka以maxwell主题命名的窗口里
第五 额外补充
1在第三大步骤里的第四小步开启maxwell命令行时，可以多跟几个参数对mysql的binlog进行过滤，只筛选某些数据库里的某些表
include_dbs，exclude_dbs，include_tables，exclude_tables
2注意点：kafka的安装版本要和maxwell兼容适应，不然会报错
- Kafka clients 0.8 and 0.9 are compatible with brokers running kafka 0.8.
- 0.10.0.x clients only support 0.10.0.x or later brokers.
- Mixing Kafka 0.10 with other versions can lead to serious performance impacts.
还可以使用https://blog.csdn.net/xf_87/article/details/70146810
第二种途径进行解析binlog