• tidb的组件ticdc传输数据到kafka


    环境:tidb4.0.8、centos7.6

    1、tidb扩容ticdc
        1. 添加节点信息到 scale-out.yaml 文件

    cdc_servers:
      - host: 172.168.20.51
        port: 8300
        deploy_dir: "/data1/tidb-deploy/cdc-8300"
        log_dir: "/data1/tidb-deploy/cdc-8300/log"
    

       2、运行扩容命令

    tiup cluster scale-out tidb scale-out.yaml
    
    2、ticdc创建kafka同步任务
    tiup cdc cli changefeed create --pd=http://172.168.20.49:2379 --sink-uri="kafka://127.0.0.1:9092/cdc-test?kafka-version=2.4.0&partition-num=6&max-message-bytes=67108864&replication-factor=1"
    Create changefeed successfully!
    ID: simple-replication-task
    

    3、常用命令

    查询同步任务列表:
    tiup cdc cli changefeed list --pd=http://172.168.20.49:2379
    
    
    停止同步任务:
    tiup cdc cli changefeed pause --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
    以上命令中:
    --changefeed-id=uuid 为需要操作的 changefeed ID。
    恢复同步任务:
    tiup cdc cli changefeed resume --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
    
    删除同步任务:
    tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
           删除任务后会保留任务的同步状态信息 24 小时(主要用于记录同步的 checkpoint),24 小时内不能创建同名的任务。如果希望彻底删除任务信息,可以指定 --force 或 -f 参数删除,删除后 changefeed 的所有信息都会被清理,可以立即创建同名的 changefeed。
    tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id 
    

      

      

      

      

    做一个决定,并不难,难的是付诸行动,并且坚持到底。
  • 相关阅读:
    windows防火墙失效
    unity_animator_stop_replay(重新播放)
    使用rider做为unity的代码编辑器
    分母为0的坑(float)
    动画或特效不会播放(被裁剪)
    UGUI在两个UI间坐标转换
    informix 查看 当前锁表
    java protected 与默认权限的区别
    Java 定时任务
    在线支付
  • 原文地址:https://www.cnblogs.com/wukc/p/15272400.html
Copyright © 2020-2023  润新知