来自官网DataFrames、DataSets、SQL，即sparkSQL模块。
spark2.0之前，主要的数据格式是RDD（弹性分布式数据集）。spark2.0之后，使用Dataset代替RDD；再，Datasets在Python中是Datasets[Row]，故称之为DataFrame，与Python保持一致。
Dataset API只适用于Scala和Java，使用列名来组织Dataset就是DataFrame，类似于关系型数据库中的表或者Python中的dataframe，且在后台拥有更丰富的优化机制；DataFrame API适用于Scala、Java、Python、R。
Spark SQL初识：
初始化一个sparkSession，这是spark中所有功能的切入点
from pyspark.sql import SparkSession spark = SparkSession .builder #builder这里无括号 .master("local") #要连接的主机名
.appName("Python Spark SQL basic example") #CappName只是显示在spark web 中，与本程序名并无关联 .config("spark.some.config.option", "some-value") #对于一个（key,value）对，忽略参数名 .getOrCreate() #如果已有SparkSession则get，否则Create
spark.select用于筛选特定的行，spark.sql用于数据库查询。还可以groupby分组、filter过滤。
方法调用：
1）join，同SQL的联合查询，1个表来调用join，参数是另一个表、相等的字段、连接的方式（inner、outer）
people = sqlContext.read.parquet("...") #两个表，people和department department = sqlContext.read.parquet("...") people.filter(people.age > 30).join(department, people.deptId == department.id) #连接的字段，倒是比SQL简洁不少 .groupBy(department.name, "gender").agg({"salary": "avg", "age": "max"}) #groupby分组，分组之后要设置聚合的字段和方式，agg也可单独使用
2）类 Row ：可直接定义一个row同时赋值，也可先声明列名再赋值
>>> row = Row(name="Alice", age=11) >>> row Row(age=11, name='Alice') >>> row['name'], row['age'] #类似字典 ('Alice', 11) >>> row.name, row.age #类似属性，dataframe取某一列也是这两种方式 ('Alice', 11) >>> 'name' in row True >>> 'wrong_key' in row False >>> Person = Row("name", "age") #先声明，其后再赋值 >>> Person <Row(name, age)> >>> 'name' in Person True >>> 'wrong_key' in Person False >>> Person("Alice", 11) Row(name='Alice', age=11)
3）利用反射来推测数据模式（数据类型）：
from pyspark.sql import Row #sql是个模块，而Row是个类，故不能直接 import pyspark.sql.Row sc = spark.sparkContext #创建上下文 # 载入文件并转换为Row。people文件中内容是Michael, 29 Andy, 30 Justin, 19
lines = sc.textFile("examples/src/main/resources/people.txt") #可以读HDFS文件、本地文件或支持Hadoop文件系统的URI，返回RDD的字符串 parts = lines.map(lambda l: l.split(",")) #以逗号分隔 people = parts.map(lambda p: Row(name=p[0], age=int(p[1]))) #每行转换为Row # 推断数据模式，把Dataframe注册为数据库表. schemaPeople = spark.createDataFrame(people) schemaPeople.createOrReplaceTempView("people") # DataFrames注册为数据库表之后，可以使用SQL. teenagers = spark.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19") # SQL查询的结果是Dataframe对象. # rdd则返回类:`pyspark.RDD` of :class:`Row`. teenNames = teenagers.rdd.map(lambda p: "Name: " + p.name).collect() for name in teenNames: print(name)
# Name: Justin
4）利用程序化方式来推测数据模式（数据类型）：
from pyspark.sql.types import * #数据类型 sc = spark.sparkContext # 载入数据并转换为Row，此处未给列名. lines = sc.textFile("examples/src/main/resources/people.txt") parts = lines.map(lambda l: l.split(",")) # Each line is converted to a tuple. people = parts.map(lambda p: (p[0], p[1].strip())) # schema编码为string. schemaString = "name age"
#StructField是个类，参数有字段名，数据类型，是否可以为空；那么fields就是个对象（实例）；StructType也是个类，与StructField的数据类型保持一致，可迭代
#StringType也是个类，还有BinaryType、 BooleanType等。此处把name、age传进去。 fields = [StructField(field_name, StringType(), True) for field_name in schemaString.split()] schema = StructType(fields) # 把schema应用到RDD. schemaPeople = spark.createDataFrame(people, schema) # 创建临时视图 schemaPeople.createOrReplaceTempView("people") # SQL can be run over DataFrames that have been registered as a table. results = spark.sql("SELECT name FROM people") results.show() # +-------+ # | name| # +-------+ # |Michael| # | Andy| # | Justin| # +-------+
？？？为什么要推断数据模式，因为原始的数据没有列名和数据类型，定义了列名和数据类型之后，就是DataFrame了，然后方便处理数据？
？？？尝试编代码时，总是报错，如下：
ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:58808)
Traceback (most recent call last):
File "C:UsersdellAnaconda3libsite-packagespy4jjava_gateway.py", line 827, in _get_connection
connection = self.deque.pop()
IndexError: pop from an empty deque
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "C:UsersdellAnaconda3libsite-packagespy4jjava_gateway.py", line 963, in start
self.socket.connect((self.address, self.port))
ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。
且在这里记下，以后找到解决方法再说。
奇怪的是，wordCount的程序第一次运行时正常，给出结果，在运行时就一直报上述错误。貌似是Java服务只能连上一会儿，之后就断开了。
jdk的环境变量按照网上说的，反复确认，但仍然报错。一开始装的jdk9，后又改成jdk1.8。