文章目录
目标
分类
- WOS(Write Optimized Store)
采⽤用 kudu 表⽀持实时导⼊ - ROS(Read Optimized Store)
采⽤ Parquet 列式存储,采用合理的分区和文件⼤小,最⼤化的减少扫描的数据量
- 列式存储
- 行式存储
- 常见存储格式
TextFile
RCFile
ORC
Parquet
- 按列存储
- 按时间分区
- 局部排序
- 问题:只⽀支持批量量写⼊入,⽆无法追加,无法实现实时写⼊
ARVO
- 典型开源应用
- kudu: 面向实时分析的存储引擎
- 底层使⽤用类似 Parquet 的存储结构
- ⽀支持实时写⼊入、实时更更新及随机查询
- 扫描性能⽐比 Parquet 略略差
- Hive支持的格式
STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)
- Impala支持的格式
- HBase支持的格式
-应用场景
-实时数据平台
同时使⽤两种存储格式
• Kudu 存储实时数据、Parquet 存储历史数据
• 定时进行数据转储 Kudu -> Parquet
• 使⽤视图进⾏无缝融合,对查询层完全透明。
实时查询模块设计
MPP类型查询引擎: