pandas入门

记录一些常用的pandas基础的使用方法。

1. 数据结构

pandas有两种主要的数据结构：Series和DataFrame

1.1 Series

Series是一个一维的数组对象，它包含了一个数据标签（称为索引）和一个数组数据。事实上，可以将Series理解为一个以数据标签为key，以数值为value的键值对（字典）。

A.创建一个最简单的Series（其标签默认生成）：

obj=Series([3,5,7,8])

生成结果：

B.获取其中的值（获取Series的数组表示）：

obj.values

C.获取索引对象：

obj.index

注意默认的索引，obj.index返回的对象是一个Int64的list对象

D.创建带有索引的Series：

obj=Series([2,3,4,6],index=['d','f','e','y'])

E.利用索引获取值

obj['d']

F.通过bool数组过滤，使用乘法

obj[obj>3]

G.Series中的空值使用NaN表示，可以通过

pd.isnull(obj)

pd.notnull(obj)

检查数据是否为空值。

1.2 DataFrame

DataFrame类似于关系型数据库中的一张二维表。DataFrame在Series的基础上添加了列索引，因此可以看作是添加了列索引的Series数组。

A.创建一个DataFrame

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],
        'year': [2000, 2001, 2002, 2001, 2002],
        'pop': [1.5, 1.7, 3.6, 2.4, 2.9]}
frame=DataFrame(data)

B.如果传递了一个行，但不包括在data中，创建的DataFrame将表示为NaN。（在这个例子中，debt所在列所有的行都为空值NaN，且我们显式地指定了行索引）

 

C.利用列索引，通过字典或者属性形式，获取DataFrame对象的一列

frame['year']

frame.year

D.利用DataFrame.ix[]获取DataFrame对象的一行。注意向ix中传入的可以是行索引名字（如字符串形式），也可以是位置号

frame.ix[1]

frame.ix['two']

利用ix索引行，利用字典或者属性形式索引列，则可以组合以索引到DataFrame中的任意一个值

E.列可以通过赋值来修改，赋予的值可以是数字，数组或者Series对象

F.对一个不存在的列赋值，将会创建一个新的列

注意，利用字典形式对一个不存在的列赋值，才会新建一个列

2. 一些功能

2.1 重新索引

reindex使数据符合一个新的行索引，以构造一个新的对象。如果重新索引时，部分行不存在值，将置为NaN。columns可以对列重新索引

重新索引时，可以对丢失的值进行填充。可以传入method或者fill_value填充

当method为ffill表示填充值为前一行的值（前向填充），bfill表示填充值为后一行的值（后向填充）

2.2 从坐标轴删除条目

可以使用drop方法删除Series中的一个或多个值，删除DataFrame中的一个或多个行

2.3 切片

可以使用标签切片，注意，这里切片和Python的切片并不一样，他会把结束点也包括在内

2.4 大文件读写

csv大文件读写一般向read_csv()函数中传入chunksize或者iterator参数完成

reader=pd.read_csv('./data1.csv',chunksize=10000)

for chunk in reader:#chunk为DataFrame类型(二维表)
    for i in chunk.index:#chunk.index为元素类型为Int64的list
        value1=chunk.ix[i]['column']#获取chunk表中的一个值，先取行，在得列
        value2=chunk['column'][i]#获取chunk中的一个值，先取列，再得行