Spark 集群会启动 Driver 和 Executor 两种 JVM 进程
我们只关注Executor的内存.
分为堆内内存和堆外内存
内存分为
存储内存 : 存储数据用的.
执行内存: 执行shuffle时占用的.
其他内存: 用户自定义的对象.
堆内内存
这是由jvm管理.spark自己不知道,只能spark自己估算,有时准,有时不准.
堆外内存
spark找操作系统要的内存.自己可以管理,其他和堆内内存一样.
spark.memory.offHeap.enabled 默认不开启,由此参数控制堆外内存的开启关闭
spark.memory.offHeap.size 内存大小.
内存空间分配
静态内存管理(老的)
运行程序时,就要设置存储内存和执行内存的比例,不能更改,太辣鸡,弃之.
统一内存管理(新的)
可以动态调整存储内存和执行内存的比率.
但是,执行内存是大哥,当自己的被别人占据后,如果想要,可以驱逐别人.
而存储内存是小弟,当自己的地盘被执行内存占领后,要不回来.
存储内存管理
RDD持久化机制
如果一个 RDD 上要执行多次行动，可以在第一次行动中使用 persist 或 cache 方法，在内存或磁盘中持久化或缓存这个 RDD，从而在后面的行动时提升计算速度。
对于存储内存来说，Spark 用一个 LinkedHashMap 来集中管理所有的 Block，Block 由需要缓存的 RDD 的 Partition 转化而成
执行内存管理
执行内存主要用来存储任务在执行 Shuffle 时占用的内存
Shuffle 的 Write 和 Read 两阶段对执行内存的使用
看不懂.
作者：十一喵先森
链接：https://juejin.im/post/5e1c41c6f265da3e152d1e62
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。