在集群上运行 spark 时候,对 RDD 进行 foreach(print) 并没有打印任何内容,这是怎么回事呢?
这是因为 RDD 运行在各个 worker 上,foreach 是对 各个 worker 上的 RDD partition 进行操作,要打印也是打印在 worker 终端,所以驱动节点不会打印
在集群上运行 spark 时候,对 RDD 进行 foreach(print) 并没有打印任何内容,这是怎么回事呢?
这是因为 RDD 运行在各个 worker 上,foreach 是对 各个 worker 上的 RDD partition 进行操作,要打印也是打印在 worker 终端,所以驱动节点不会打印