benthos 是golang 编写的流处理工具,同时也可以作为一个类库使用,当前支持的source sink 还是比较全的
(kafka rabbitmq http service s3 redis mqtt nats nsq websocket)
核心组件
- 包含的核心组件
- inputs(输入)
- buffers(缓冲)
- pipeline (流水线处理)
- outputs (输出)
其他组件
- processors (处理器)
- conditions (条件)
- caches (缓存)
一个与streamsets 集成的例子
参考资料
https://www.cnblogs.com/rongfengliang/p/9566128.html
https://github.com/Jeffail/benthos