B站14天数据分析笔记5次课Pandas

数据的重塑和轴向旋转

• 行列层次化索引
• Series转DataFrame
• 索引交换层次
• 每个索引项都是个元组 按正常索引序列访问既可
• 数据旋转/行列转化 转置

import numpy as np
import pandas as pd
df=pd.read_excel("movie_data2.xlsx")
df[:5]

层次化索引

s=pd.Series(np.arange(1,10),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,3]])
s

s.index

Series转DataFrame

不堆叠unstack 将series 变成dataframe

s.unstack().stack()

对Dataframe 行列层次化索引

data=pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]],columns=[['A','A','B'],['Z','X','C']])
print(data)

索引交换层次

data.index.names=['row2','row1']
data.columns.names=['col1','col2']
data

data.swaplevel('row1','row2')
data

set_index把列变成索引 reset_index把索引变成列

df=df.set_index(['产地','年代'])
df

每个索引项都是个元组 按正常索引序列访问既可

df.index[0]

(‘美国’, 1994)

行标签索引行数据 两边闭区间 以年代为索引

df.loc['美国'] 

取消层次化索引

df=df.reset_index()

数据旋转

分组与聚合 (groupby/数据透视表格pivot_table)

group=df.groupby(df['产地'])
type(group)
group.sum()

使用聚合函数

df['评分'].groupby(df['年代']).mean()

groupby多个分组变量

df.groupby([df['产地'],df['年代']]).mean()

#每个地区 每一年的评分的均值
group=df['评分'].groupby([df['产地'],df['年代']])
mean=group.mean()
mean

mean.unstack().T#转为dataframe

离散化,分组/区间化处理

python 之 .cut函数:
区间化的定义 x数组 bins区间/序列 分组依据 right右端点 include_lowest左端点 labels 定义的名称等级
pd.cut(x,bins,right = True,labels = None,retbins=False,precision = 3,include_lowest = False)

df['评分等级'] = pd.cut(df['评分'],[0,3,5,7,9,10],labels = ['E','D','C','B','A'])
df.head(10)

根据百分数的分布来切割区间 投票人数的排序分成五份 排名每20%作为一个等级

bins = np.percentile(df['投票人数'],[0,20,40,60,80,100])
df['热门程度'] = pd.cut(df['投票人数'],bins,labels = ['E','D','C','B','A'])
df

合并数据集的三种方法

.append

将数据集拆分成多个 再进行合并

df_usa = df[df.产地=='美国']
df_cn = df[df.产地=='中国大陆']
df_cn.append(df_usa)

pd.merge

python 之pd.merge函数
pd.merge(left,right,how=‘inner’,on=None,left_on = None)
left:左边的对象
right:右边对象
on:要加入的列:交集 连接键 左连接 右连接 内连接
left_on:如果不同 则自己指定
right_on:
sort:按照连接件 排序
suffixes:前缀 重复键 自定义后缀

df1 = df.loc[:5]
df1
df2 = df.loc[:5][['名字','产地']]
df2['票房']  = [123344,23454,343543,435,222,555]
df2

将数据表格打乱后重新设置索引

df2 = df2.sample(frac = 1)
df2

df2.index = range(len(df2))
df2

合并

pd.merge(df1,df2,how = "inner",on = '名字',)

pd.concat

多个数据表 进行某一维度的拼接