• pySpark学习


    《Spark快速大数据分析》笔记

    from pyspark import SparkConf, SparkContext
    conf = SparkConf().setMaster("local").setAppName("My App")
    sc = SparkContext(conf = conf)

     

    pyspark的初始化,也就是入口,setMaster是指定连接的集群,setAppName是指应用名

    有时候,我们希望对每个输入元素生成多个输出元素。实现该功能的操作叫作 flatMap()
    map() 类似,我们提供给 flatMap() 的函数被分别应用到了输入 RDD 的每个元素上。不
    过返回的不是一个元素, 而是一个返回值序列的迭代器。

     

    我们在图 3-3 中阐释了 flatMap() map() 的区别。你可以把 flatMap() 看作将返回的迭代器
    “拍扁”,这样就得到了一个由各列表中的元素组成的 RDD,而不是一个由列表组成的 RDD
    3-3RDD flatMap() map() 的区别

    这一段没看懂:

  • 相关阅读:
    2019年春季第四周作业
    第三周作业
    第二周作业
    最大值及其下标
    查找整数
    PTA3
    币值转换
    三位老师
    自我介绍
    poj 3278 Catch That Cow(bfs)
  • 原文地址:https://www.cnblogs.com/tangbinghaochi/p/7985613.html
Copyright © 2020-2023  润新知