• tidb的组件ticdc传输数据到kafka


    环境:tidb4.0.8、centos7.6

    1、tidb扩容ticdc
        1. 添加节点信息到 scale-out.yaml 文件

    cdc_servers:
      - host: 172.168.20.51
        port: 8300
        deploy_dir: "/data1/tidb-deploy/cdc-8300"
        log_dir: "/data1/tidb-deploy/cdc-8300/log"
    

       2、运行扩容命令

    tiup cluster scale-out tidb scale-out.yaml
    
    2、ticdc创建kafka同步任务
    tiup cdc cli changefeed create --pd=http://172.168.20.49:2379 --sink-uri="kafka://127.0.0.1:9092/cdc-test?kafka-version=2.4.0&partition-num=6&max-message-bytes=67108864&replication-factor=1"
    Create changefeed successfully!
    ID: simple-replication-task
    

    3、常用命令

    查询同步任务列表:
    tiup cdc cli changefeed list --pd=http://172.168.20.49:2379
    
    
    停止同步任务:
    tiup cdc cli changefeed pause --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
    以上命令中:
    --changefeed-id=uuid 为需要操作的 changefeed ID。
    恢复同步任务:
    tiup cdc cli changefeed resume --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
    
    删除同步任务:
    tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id simple-replication-task
    
           删除任务后会保留任务的同步状态信息 24 小时(主要用于记录同步的 checkpoint),24 小时内不能创建同名的任务。如果希望彻底删除任务信息,可以指定 --force 或 -f 参数删除,删除后 changefeed 的所有信息都会被清理,可以立即创建同名的 changefeed。
    tiup cdc cli changefeed remove --pd=http://172.168.20.49:2379 --changefeed-id 
    

      

      

      

      

    做一个决定,并不难,难的是付诸行动,并且坚持到底。
  • 相关阅读:
    Windows 10 版本 1507 中的新 AppLocker 功能
    github 查询
    Facebook Paper使用的第三方库
    C#如何使用右下角托盘图标notifyIcon
    C#如何设置窗体不能修改大小
    C#如何让Listbox支持多选
    C#如何开发多语言支持的Winform程序
    C#如何发布项目 发布软件
    C#如何编辑tab选项卡
    C#如何把写好的类编译成dll文件
  • 原文地址:https://www.cnblogs.com/wukc/p/15272400.html
Copyright © 2020-2023  润新知