Pandas 第三部分

import numpy as np
import pandas as pd

df = pd.read_excel("d:/test.xlsx")
#数据重塑和轴向旋转
if 0:
    #1,层次化索引
    if 0:
        #层次化索引是pandas 的一项重要功能，它能使我们在一个轴上拥有多个索引

        #Series 的层次化索引
        if 0:
            s = pd.Series(np.arange(1,10),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,2,3,1,2,3]])
            print(s)
            if 0:
                print(s.index)
                pass
            if 0:
                #对外层索引进行操作
                print(s['a'])
                print(s['a':'b'])
            if 0:
                #对内层索引进行操作
                print(s[:,1])

                #索引具体的值
                print(s['a',1])
                pass

            if 0:
                #通过unstack 方法可以将Series 变成 DataFrame
                ret = s.unstack()
                print(ret)    #这时外层索引就成了行标签  ，内层索引就成了列标签
                if 0:
                    ret = s.unstack().stack()
                    print(ret)  #可以使用 stack ()  将DataFrame 转回
                pass




            pass


        #DataFrame 的层次化索引
        if 0:
            #对于 DataFrame 来说，行和列都是可以进行层次化索引的
            data  = pd.DataFrame(np.arange(12).reshape(4,3),index=[['a','a','b','b'],[1,2,1,2]],columns=[['A','A','B' ],[1,2,3]])
            print(data) #这时就是需要四个索引才能确定一个数字了 ，这就将二维数据变成了四维数据   。

            if 0:
                #索引列
                print(data['A'])
                pass
            if 0:
                #给索引设置名称
                data.index.names =['row1','row2']
                data.columns.names = ['col1','col2']
                print(data)
                if 0:
                    #然后 使用swaplevel 对row1 和  row2 调换
                    ret  = data.swaplevel('row1','row2')
                    print(ret)
                    pass

                pass


            pass

        #操作df 数据集
        if 1:
            if 0:
                ret = df.index
                print(ret)
                # print(df.dtypes)
                pass
            if 1:
                #把学号设置成外索引，姓名设置为内索引
                ret = df.set_index(['学号','姓名'])
                print(ret)
                #此时的每个索引都是个索引
                if 0:
                    print(ret.index[0])  #(17096218, '张三')

                    pass

                #获取17096218 学号的
                if 0:
                    ret = ret.loc[17096218]
                    print(ret)  #此时姓名就成了外索引
                    
                    pass


                pass


            pass
        
        #取消 层次化索引  
        # df = df.reset_index()
        pass

    #2,数据旋转
    if 1:
        data = df[:5]
        print(data)  #下面就是单纯只操作这个data

        #行列转换 转置
        if  0:
            ret = data.T
            print(ret)
            pass

        #dataframe  可以使用stack 和  unstack  转化为层次化的Series
        if 0:
            ret = data.stack()  #转为了  层次化的Series
            print(ret)
            pass
        pass
    pass
#数据分组 ，分组运算
if 0:
    #主要用的是groupby 计数：先分组，然后再进行聚合运算   类似于数据透视表
            #需要注意的是  groupby 只会数值变量进行分组运算

    #按照 学号分组
    group = df.groupby(df['学号'])

    #查看group
    if 0:
        print(group)
        print(type(group))
        pass
    if 0:
        #可以计算分组后的各个统计量
        ret = group.mean()
        print(ret)

        pass

    if 0:
        #计算每个姓名 的平均工资
        group = df['工资'].groupby(df['姓名'])
        ret = group.mean()
        print(ret)
        pass

    if 0:
        # 根据多个分组变量进行分组
        group = df.groupby(['学号','姓名'])
        ret = group.mean()
        print(ret)
        pass
    if 0:
        #获取每个学号，每个姓名的 工资的均值
        group = df['工资'].groupby([df['学号'],df['姓名']])
        # group = df['工资'].groupby(['学号','姓名'])  #错误
        print(group.mean())

        ret = group.mean()
        if 0:
            #现在通过  unstack  将ret 转为 dataframe
            ret = ret.unstack()
            print(ret)
            #需要注意的是 ，这会产生一些缺失值  NaN
            pass
        pass

    pass

#离散化处理
if  0:
    #pandas 为我们提供了 方便的函数 cut()；
    #pd.cut(x,bins,right=True,labels=None,retbins= False,precision=3,include_lowest=False)
    #参数解释
    #x：需要离散化的数组  ， Series DataFrame 对象
    #bins ：分组的依据  一般是个数字/或序列    数字指的的是分成几组
    #right ：是否包含右端点
    #inlcude_lowest  :是否包含左端点
    #labels  可以指定分组的 名称

    #下面对年龄进行分组  0-18  18-30  30-50 50-99
    if 0:
        ret = pd.cut(df['年龄'], [0, 18, 30, 50, 99])  # 这时的bins 是个列表
        print(ret)
        # 316(0, 18]
        # 317(18, 30]
        # 318(18, 30]
        # 319(18, 30]
        # Name: 年龄, Length: 320, dtype: category
        # Categories(4, interval[int64]): [(0, 18] < (18, 30] < (30, 50] < (50, 99]]
        pass

    if 0:
        #给各组加标签
        ret = pd.cut(df['年龄'], [0, 18, 30, 50, 99],labels=['少年','青年','中年','老年'])
        print(ret)
        pass

    if 0:
        #给各个分组加标签  并新增到 pd 中
        df['年龄等级'] = pd.cut(df['年龄'], [0, 18, 30, 50, 99],labels=['少年','青年','中年','老年'])
        print(df)
        pass

    if 0:
        #设置年龄的分位数
        bins = np.percentile(df['年龄'],[0,20,50,100])
        print(bins)  #[18. 26. 40. 98.]  #最小的是18 岁， 最大的98 岁

        pass


    pass

#合并数据集

if 0:
    #1,append  拼接时，尽量数据都是相同的
        #它使用的不是很多，除非是一个excel 放不下，多个excel 文件，然后到python中合并
    if 0:
        df_zcb = df[df['姓名']== '张昌博']
        df_zs = df[df['姓名'] == '张三']
        ret = df_zcb.append(df_zs)
        print(ret)


        pass
    #2,merge  (用的比较多 )  做横向的拼接
    # df.merge(
    #         left,  左边的数据文件
    #         right,  右边的数据文件
    #         how="inner",  拼接的方式  ，默认是内连接
    #         on=None,   按照 那一列连接  （左右都有的）
    #         left_on=None,  如果不是左右都有
    #         right_on=None,
    #         left_index=False,
    #         right_index=False,
    #         sort=False,
    #         suffixes=("_x", "_y"),
    #         copy=True,
    #         indicator=False,
    #         validate=None,
    # )
    if 0:
        df1 = df[:5]
        print(df1)
        df2 = df[:5]
        df2['工龄'] =[1,2,3,4,14]  #增加一列
        # print(df2)

        #将df2 打乱
        df2 = df2.sample(frac=1)
        # print(df2)
        df2.index = range(len(df2))  #将索引再次赋值
        print(df2)

        #现在将df1  和  df2 进行合并  按学号连接
        ret = pd.merge(df1,df2,how='inner',on = '学号')
        print(ret)






        pass

    #3,concat
    #将多个数据集进行批量合并
    if 0:
        df1 = df[:10]
        df2 = df[100:110]
        df3 = df[200:210]

        # ret = pd.concat(df1,df2,df3)  #错误
        ret = pd.concat([df1,df2,df3])
        print(ret)
        pass
    pass