Kafka高性能的原理
高性能,高并发,高可用
使用了NIO技术。高并发。
顺序读写。硬盘的顺序读写性能要高于内存的随机读写。
跳表设计。
稀疏索引。index文件里面有部分offset的位置。
使用零拷贝。从内存,直接拷贝到网卡。
producer: 按批次发消息,而不是条数。
producer:内存池设计,避免发生full gc,自己用完后就回收,然后放入池中。
producer:封装同一服务器请求,一起发过去。
consumer:P2P模型和发布订阅模型
高性能,高并发,高可用
使用了NIO技术。高并发。
顺序读写。硬盘的顺序读写性能要高于内存的随机读写。
跳表设计。
稀疏索引。index文件里面有部分offset的位置。
使用零拷贝。从内存,直接拷贝到网卡。
producer: 按批次发消息,而不是条数。
producer:内存池设计,避免发生full gc,自己用完后就回收,然后放入池中。
producer:封装同一服务器请求,一起发过去。
consumer:P2P模型和发布订阅模型