week4
streaming data format
下面讲 data lakes
schema-on-read: 从数据源读取raw data 直接放到 data lake 里,然后再读到model里
schema-on-write: 传统模式,把raw data 经过处理后放到data warehouse里,此时已经是结构化的数据,然后直接load 出来
data lake summary
week5 - big data management
针对大数据,传统DBMS 需要提高的地方
some solutiion
from DBMS to BDMS
BDMS 应该具有的特征
BASE 就是基于CAP理论的
一些常用的BDMS及其优缺点
Redis: an enhanced key-value store
Aerospike: a new generation KV store
这是一个分布式NoSQL database + KV store. 是强一致性的
AsterixDB: a DBMS for semistructured data. 大家都知道的mongodb 以json 格式存储j数据, 这个Asterix 和 mongodb 类似. 它提供ACID保证.
Solr : Text data searching. 基于Lucene的
应该是一种search engine, 不知道和 ES 什么区别.
反向索引,至少要包含 doc id list, 也可以包含更多信息
除了full text search, 还有下面的功能
Vertica:a columnar DBMS