Centos下使用YugaByte DB
https://www.liangzl.com/get-article-detail-140539.html
业务系统或上报的数据--->openresty-->golang web gin-->kafka--->golang kafka client+ pg client ---> CockroachDB 集群
----> 分支1: ----> golang +pg client 准实时 --->ClickHouse集群
分支2: ---->golang +pg client 准实时 --->SnappyData
解释:
1、第一步实现主干内容,数据要求完整保存到基于Postgresql的CockroachDB集群中,以多副本,无需分库分表等优势创建数据库,支持事务,用于生产。
2、第二步研究将数据同步到ClickHouse集群,实现高速度的大部分数据OLAP。
3、第三步研究基于Spark生太的SnappyData,弥补步骤2可能存在的问题。
4、之所以选择golang做为开发语言,是想一栈式语言,不想一会java ,一会运维用python,而且golang的好处在于强制,写一个代码没有第二种方法,防止因项目组内人员水平不一造成代码互相看不懂,是一种工程化思想的体现,而且Golang的运行速度很快,体积小,不依赖于环境等特点也非常棒。
===========================================================================
Clickhouse 资料
https://www.cnblogs.com/uestc2007/category/1465231.html
https://cloud.tencent.com/developer/article/1488512
《大数据实时分析领域的黑马ClickHouse》二次解读
https://blog.csdn.net/haitianxueyuan521/article/details/80983001
基于SnappyData构建实时数据仓库
https://www.jianshu.com/p/ccad1333c48d
SnappyData--一个统一OLTP+OLAP+流式写入的内存分布式数据库
https://blog.csdn.net/lmalds/article/details/79107024
https://www.cockroachlabs.com/docs/stable/install-cockroachdb-linux.html
黄海在华为云上的备份包:
https://dsideal.obs.cn-north-1.myhuaweicloud.com/HuangHai/cockroach-v19.2.2.linux-amd64.tgz
cockroachDB学习总结
https://blog.csdn.net/niuchangp/article/details/59613410
https://www.cnblogs.com/gomysql/category/976463.html
Golang的客户端
https://github.com/ClickHouse/clickhouse-go
https://github.com/roistat/go-clickhouse
olap的长远解决之道,机器学习,智能算法类的研究方向:
【若泽大数据】玩转大数据之Spark零基础到实战
https://www.bilibili.com/video/av29407581?p=1
若泽大数据官网