这本书是目前市面上唯一的一本关于flink的中文书。
作者是flink的创始团队的核心成员弗里德曼,翻译者是阿里巴巴的员工王邵翔。
这本书没有将flink的原理,API,具体用法等等,而是讲fink的使用场景、架构、用途,优势。应该说是非常适合入门和调研的一本书。
书很薄,但我觉得很值。
- 第一章、 为何选择Flink
这章主要介绍Flink的使用场景,作为第四代大数据计算引擎,Flink具有很多优良的特性。基于同一组件和语义,既支持批处理又支持流处理。这点和spark有明显区别。
我觉得在未来,Flink会替代spark。
- 第二章、 流处理架构
Flink的强项就是流处理。一切皆流。要真正使用Flink,必须依赖一个核心组件:分布式消息队列。
目前主流、高性能、大数据业务的消息队列只有Kafka和MapR steam,前者我已经用了三年了。后者在API和基本使用方面复用了Kakka的接口,核心部分的实现原理不太一样。
既支持批处理,又支持流处理。
- 第三章、 Flink的用途
Flink可以解决分布式数据库一致性问题,也能很好的处理需要低延迟的大数据计算挖掘分析应用。
Flink并没有像spark那样把所有数据一股脑放到内存里面,而是巧妙的把部分核心数据放到内存里面。多线程是大量使用到。1.6版Flink,节点间通信使用的是netty和akka
- 第四章、 对时间的处理
在窗口处理方面,Flink比起spark streamming更加优越。
Flink的流式计算窗口是基于事件的,也支持时间。而spark streaming是基于时间的,这回导致一系列的性能问题。
目前看到这,还有很多原理细节需要理一理。