• Singer 学习五 docker 运行说明


    介绍过一个工具knots ,方便Singer 可视化开发的工具,但是默认这个工具包含的tap 以及target 比较少(可以自己扩展)
    同时这个工具就是基于docker 运行的

    docker 运行的几点说明

    • 使用交互模式
    • 开发环境建议使用数据卷挂载的模式
    • 生产环境我们可以直接按照tag 进行打包

    docker 运行模式的参考脚本

    从knots 的makefile 文件摘取,实际上可以自己写,很简单

    • 脚本文件
    docker run -v "$(CURDIR)/tap:/app/tap/data" --interactive $(TAP_IMAGE) $(TAP) -c tap/data/config.json --catalog tap/data/catalog.json | docker run -v "$(CURDIR)/target:/app/target/data" --interactive $(TARGET_IMAGE) $(TARGET) -c target/data/config.json > tap/state.json
    • 说明
    TAP_IMAGE 为包含了安装好pip 包的基础镜像
    TAP 为tag 的名称,使用的是TAP_IMAGE 中的命令行工具
    TARGET_IMAGE  为包含了按照好了pip 包的基础镜像
    TARGET 为target 的名称,使用的是TARGET_IMAGE中的命令行工具
    -v  指定了对应tap 以及target 的配置参数,或者通过发现,设置了同步策略的schema信息
    实际上为了减少磁盘空间,我们可以加上--rm 参数
     

    参考资料

    https://github.com/singer-io/knots

  • 相关阅读:
    Python ES操作
    SVN总结
    MongoDB问题总结
    MySQL
    PyQt小工具
    Python logging模块
    shell脚本
    cmd命令
    eclipse java 项目打包
    Robot Framework:failed: Data source does not exist.错误
  • 原文地址:https://www.cnblogs.com/rongfengliang/p/10243717.html
Copyright © 2020-2023  润新知