删除:
del df["A"] # 原地修改
df.drop("a") # 返回修改后的新对象
df.drop(["a", "b", "c"])
修改:
增加,修改:
df["ps"] = 1 # 可以通过标量或者数组进行列赋值,如果是通过列表或者数组进行赋值,长度必须与df长度一致,如果通过series赋值,索引会精确匹配,没有的会补NAN
创建:
通过传入字典或者列表进行创建。
属性:
index,columns,values
index: 行索引
columns: 列索引 df.columns.tolist()
行索引和列索引都可以通过drop进行删除,drop可以接受axis参数。
重新索引:
reindex, df.reindex(["a", "b", "c", "d", "e"], fill_value=0)
axis:
就是0轴匹配的是index, 涉及上下运算;1轴匹配的是columns, 涉及左右运算,此条来自知乎
获取数据:
df["A"], df[["A", "B"]] # 获取列
df[:2], df[df['A'] > 1] # 获取行
df[df<5] # 通过布尔型df df[<5]进行选取,范围是整个df
索引字段:
ix, df.ix[row1: row3][col1: col9]
df.ix[:][val] # 选取列
df.ix[rows][cols] # 选取行列
获取df大小:
df.shape # 返回行和列的维数
索引操作:
df.set_index([col], drop=False) # 列设置为索引
df.reset_index() # 层次化索引转移到列
支持的算数运算: add, sub, mul, div
相加:
df1 + df2 按照索引把两个df的值相加,无交集的地方填充NAN
df1.add(df2, fill_value=0) 无交集的地方填充0
合并:
merge
pd.merge(df1, df2, how="inner", on="key") # 按照某一列将两个df合并,how关键字参数决定是进行交集还是并集,按照左侧df合并还是右侧df合并,默认是交集。
注意:add是按照index将两个df对应列的值相加,merge是按照列合并两个df,结果的值是用于合并的两个df中的一个值,key重复的值只保留一个,并没有进行算数运算。
如果merge需要按照index可以传入参数left_index=True, right_index=True, pd.merge(df1, df2, left_index=True, right_index=True)
concat
拼接两个df,保留两个df的值
pd.concat([df, df1], axis=0) # 按行拼接
pd.concat([df, df1], axis=1, keys=[1, 2]) # 按列拼接
相减:
df - series会广播,将series匹配到df的列,然后沿着列一直向下广播。
应用函数:
np.abs(df), df.apply(function)
排序:
对行或者索引进行排序:
df.sort_index(), df.sort_index(by=['a','b'],axis=1, ascending=False)
对series值排序,series.order()
DataFrame按列排序:
df.sort_values([col], ascending=True) # default is ascending = True
数据处理:
df允许索引重复。df.append()之后groupby可以解决两个df之间索引重复,需要按照某一列groupby的问题。
pd.concate([df1, df2], ignore_index=True) # 拼接两个df,忽略索引,直接避免了重复索引。
df1.combine_first(df2) # 使用df2中的数据为df1中的数据打补丁。
df.sum() # 按列运算, df.mean()
df.sum(axis=1) # 左右, df.mean(axis=1)
df.idxmax(), df.idxmin() # 返回达到最小或者最大值的索引
series使用unique()获取唯一值, df[1].unique()
series可以使用value_counts()对元素进行计数, df["C"].value_counts(),返回结果按照降频排列。
isin表示一个series的各个值是否在另一个series。
NAN值处理:dropna,fillna,isnull,notnull
数据选择:
loc for label based indexing or 通过行标签(index)索引行数据,df.loc[“a”]表示选择index为a的那行数据
iloc for positional indexing 通过行号获取行数据df.iloc[1]获取第一行数据
ix 结合前两种的混合索引
df.ix[1] # 通过行号获取数据
df.ix['e'] # 通过行标签获取数据
pandas读取关系数据库数据:
import pandas.io.sql as sql
sql.read_frame("select * from <table>", con) # con is the connection of database
pandas dataframe转list:首先使用np.array()函数把DataFrame转化为np.ndarray(),再利用tolist()函数把np.ndarray()转为list
数据转换:
就地修改index:df.index = df.index.map(lambda x: int(x) + 1)
重命名标签:
df.rename(index={"1":"first"}, columns={"count": "quantity"}) # 通过字典实现一部分标签的重命名。
df.rename(index=np.str, columns=str.upper) # index转换为字符串,columns大写。
这样会重新生成一个df,如果想要就地修改,传入inplace=True,df.rename(index={"1":"first"}, columns={"count": "quantity"}, inplace=True)
数据聚合:
df.groupby("A").quantile(0.9) # 求分位置数
df.groupby("E").agg("Here could define you function") # 传入任意函数
df.groupby("A").sum() # "A"列会被当做索引
df.groupby("A", group_keys=False).apply(sum) # group_keys用于在使用apply时确定是否将group key当做索引。使用False在最终结果中也会保留group key.
df.groupby("a")["b"].sum() # 按照“a”groupby之后,只对column b 进行sum()
数据对齐:
df.align(df1, join="inner")
重采样:
df.resample()
频率转换和重对齐的两大工具是resample和reindex,resample用于使数据符合一个新的频率,reindex使数据符合一个新的索引。
判断DataFrame为空:
df.empty