pandas day02

Pandas 排序

# serious 排序
df['score'].sort_values(ascending=false)

# dataframe 单列排序
df.sort_vaules(by='score')
df.sort_values(by='score',ascending=fales)

# dataframe 多列排序
df.sort_values(by=['score','name'],ascending=[fales,true],inplace=false)

pandas 字符串处理

# 使用原则
1. 使用方法：先获取series的str属性，然后在属性上调用函数
2. 只能在字符串列上使用，不能数字列使用函数
3. dataframe 上没有str的属性和处理方法
4. series.str不是python原声字符串，但相似

# 使用方法： series.str.[func]

# 多次str处理的链式操作
df['ymd'].str.replace('-','').str.slice(0,6)
df['ymd'].str.replace('-','').str[0:6]

# str 对正则表达的处理
def add_new(x):
    year,month,day = x['ymd'].split('-')
    return f'{year}年{month}月{day}日'
df['中文日期'] = df.apply(add_new,axis=1)

# 去掉年月日
df['中文日期'].str.replace('年'，'').str.replace('月'，'').str.replace('日'，'')

df['中文日期'].str.replace('[年月日]'，'')

pandas 的axis 参数理解

# axis=0 or 'index'
单行操作，指某一行
聚合操作，指跨行cross rows

# axis=1 or 'colums'
单列操作，指某一列
聚合操作，指跨行cross columns

# 删除列
df.drop['A',axis=1]
# 删除行
df.drip[1,axis=0]

# 平均值
df.mean(axis=0) # 最终变成一行
df.mean(axis=1) # 最终变成一列

pandas 索引index

# index 用途
1. 更方便的数据查询
2. 查询性能提升
3. 自动的数据对其功能
4. 更多更强大的数据结构支持

# 修改索引
df.set_index('useridID',inplace=True,drop=False)
# 查看index
df.index
# 使用index 查询
df.loc[df['userID']==500].head(5)
df.loc[500].head(5)

# index 提升性能
1. 如果index唯一，pandas使用哈希表优化，O(1)
2. index不唯一，但有序，pandas使用二分查找， O(logN)
3. index 随机， 全表扫描， O(N)

# index 能自动对齐数据
s1 + s2 会把index 相同的进行相加

# index支持更多数据结构
1. categoricalIndex 基于分类的index，提升性能
2. multiIndex 基于groupby多位聚合后的结果
3. datetimeIndex, 时间类型索引

# index 方法
1. index 是否递增
df.index.is_monotonic_increasing
2. index是否唯一
df.index.is_unique
3. 将index排序
df.sort_index()

pandas 合并 merge

# merge grammer
pd.merge(left,right,how='inner',on='aa',left_on='bb',right_on='cc',left_index=false,right_index=false,sort=true,suffixes=['_x','_y'])

# merge three file

1. read three files
df_file01 = pd.read_csv(
'file_paht',sep='::',engine='python',
name='userid::movieid::rating::timestamp'.split('::'))

2. merge
# inner: 两边都有数据保留，否则丢弃
df_new = pd.merge(df01,df02,left_on='movieid',right_on='movieid',how='inner')

# 理解merge数量对齐关系
1. one-to-one 一对一关系，关联的key 唯一
2. one-to-many
3. many-to-many   

# left,right,inner,
left: 保留左表所有数据
right：保留右表所有数据
inner: 保留两表交集
outer join：并集

# 处理非key 字段重名
pd.merge(left,right,on='key',suffixes=['_left','_right'])

pandas 数据合并 concat

#concat 语法
pandas.concat(objs,axis=0,join='outer',ingnore_index=false)

# appdend 按行合并
dataframe.append(other,ingonre_index=false)
other: 单个dataframe,series,dict or list
ignore_index: 是否忽略原来的数据索引
    
# 使用concat添加列
pd.concat([df,s1],axis=1) # single line
s = df.apply(lambda x:x['A']+'_aa',axis=1)
pd.concat([df,s1,s2],axis=1) # multiple line

pd.concat([s1,s2],axis=1) # 列表只有series

pd.concat([s1,df1,s2],axis=1) # 列表可以混合顺序


# append 按行合并数据
1. 给打他frame添加一个dataframe
df1.append(df2,ignore_index=false)

2. 一行一行给dataframe添加数据
# 创建空的dataframe
df = pd.DataFrame(columns=['A'])
# 低性能创建
for i in range(5):
    df = df.append(['A',i],ingore_index=true)
    
# 高性能版本
pd.concat(
[pd.DataFrame[i],columns=['A'] for i in range(5)], ignore_index=true
)

Pandas 批量拆分和合并Excel

# 大excel拆成多个,分配给不同的人
使用df.iloc将搭的df拆成多个df

1. 计算没人行数
users = ['a','b','c']
slit_size = row_count // len(users)
if row_count % len(users) != 0:
    split_size += 1
    
2. 拆分excel
df_subs = []
for i, user in enumerate(users):
    begin = i * split_size
    end = begin + split_size
    
    df_sub = df_source.iloc[begin:end]
    df_subs.append((i,user,df_sub))
    
3. 存入excel
for i ,user, df_sub in df_subs:
    file_name = f'aa{user}'
    df_sub.to_excel(file_name,index=false)

# 多个小的excel 合并成一个大的
1. 遍历文件夹，获取要合并的excel列表
2. 分别去读到dataframe，给每个df加一列标记源
3. concat进行合并

excel_names = []
for excel_name in os.listdir(dir):
    excel_names.append(excel_name)
    
df_list = []
for i in excel_names:
    to_path = f'{splits_dir}/i'
    df_split = pd.read_excel(i)
    
    username = i.replace('前缀'，'').replace('后缀'，'')[2:]
    
    df_split['username'] = username
    df_list.append(df_split)
    
df_merge = pd.concat(df_list)
df_merge.to_excel('path',index=false)

pandas实现groupby分组统计

# 分组使用聚合函数做数据统计
 
1. 单个列groupby
df.groupby('a').sum() # 非数字列自动忽略

2. 多个列groupby
df.groupby(['a','b'],as_index=false).mean()

3. 同时查看多种数据统计
df.groupby('a').agg([np.sum,np.mean,np.std])

4. 查看单列的数据统计结果
df.groupby('a')['c'].agg([np.sum,np.mean,np.std]) 

5. 不同的列使用不同的聚合函数
df.groupby('a').agg({'c':np.sum,'d':np.mean})

# 具体分析groupby 
g = df.groupby('a')
for name,group in g:
    print(name)
    print('group is a dataframe')
    
取单个分组的数值
g.get_group('bar')

Pandas 分层索引multiindex

分层索引：在一个轴向上拥有多个索引层级，可以表达更高维度数据形式
方便进行数据筛选，有序性能更好
groupby， 如果是多key, 结果为分层索引

# series 多层索引multiindex怎么筛选数据
ser.loc['baidu']
ser.loc[('baidu','2021' )]
ser.loc[:,'2021']

# dataframe 多层索引筛选数据
1. 元组表示筛选多层索引，一级索引，二级索引
2. 列表代表同一层的多个key

stockes.loc[(['baidu','jingdong'],'2029'),:]
筛选一级索引所有内容
stocks.loc[(slice(None),['2019','2021']),:]

# 多级索引变成普通的列
stocks.reset_index()

pandas 的数据转换函数

map, apply, applymap

1. map：只用于series,实现每个值到值得映射
2. apply： 用户series实现每个值得处理， 用于dataframe 实现每个轴得series处理
3. applymap: 只能用户dataframe, 用于处理dataframe的每个元素
 
### map 
方法一： Series.map(dict)
# 股票代码英文转换成中文
dict_company_names = {
    'baba':'阿里巴巴'
}

stocks['chinese name'] = stocks['gongsi'].str.lower().map(dict_company_names)

方法二： Series.map(func)
stocks['chinese name'] = stocks['gongsi'].map(lambda x: dict_company_names[x.lower()])

### apply 
Series.apply(func) 函数参数为每个值
DataFrame.apply(func) 函数参数为Series
 
stocks['chinese name'] = stocks['gongsi'].apply(lambda x: dict_company_names[x.lower()])

stocks['chinese name'] = stocks.apply(lambda x: dict_company_names[x['gongsi'].lower()],axis=1)

### applymap
用于dataframe中所有值得转换
sub_df = stocks[['开盘'，'收盘']]

stocks[:,['开盘'，'收盘']] = sub_df.applymap(lambda x: int(x))
    

pandas 怎么对分组应用apply 函数

pandas 方法总结

# 查看行数，列数
df.shape #(258,3)

# 去重
df['公司'].unique 

# 总行数
df.count()

# 计时查询ID==500 数据的性能
%timeit df.loc[500]

# 拥有二级索引的series转换成dataframe
ser.unstack()

# 重建索引
ser.reset_index()