机器学习三剑客之Pandas

Pandas是基于Numpy开发出的,专门用于数据分析的开源Python库

Pandas的两大核心数据结构

• Series(一维数据)

• DataFrame(多特征数据,既有行索引,又有列索引)

一、生成数据表 

1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：

import numpy as np
import pandas as pd

2、导入CSV或者xlsx文件：

de = pd.DataFrame(pd.read_csv('excel_to_python.csv',header=1))
df = pd.DataFrame(pd.read_excel('excel_to_python.xlsx'))
print(de,df)

3、用pandas创建数据表：

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.nan,2133,5433,np.nan,4432]},
  columns =['id','date','city','category','age','price'])

二、数据表信息查看 

# 维度查看
print(df.shape)
# 数据表基本信息（维度、列名称、数据格式、所占空间等）
print(df.info())
# 每一列数据的格式
print(df.dtypes)
# 某一列格式
print((df['age']).dtype)
# 空值
print(df.isnull)
# 查看某一列空值
print(df.isnull())
# 查看某一列的唯一值
print(df['age'].unique())
# 查看数据表的值
print(df.values)
# 查看列名称
print(df.columns)
# 查看前10行数据、后10行数据
print(df.head()) #默认前5行数据
print(df.tail())  #默认后5 行数据

 三、数据表清洗 

# 用数字0填充空值
print(df.fillna(value=0))
# 使用列prince的均值对NA进行填充
print(df.fillna(df['price'].mean()))
# 清楚city字段的字符空格
print(df['city'].map(str.strip))
# 大小写转换
df['city']=df['city'].str.lower()
print(df)
#更改数据格式
print(df['price'].astype('int')) #记得有这个方法，我的此处类型错误
#更改列名称
print(df.rename(columns={'category': 'category-size'}) )
#删除后出现的重复值
print(df['city'].drop_duplicates())
# 删除先出现的重复值
print(df['city'].drop_duplicates(keep='last'))
# 数据替换
print(df['city'].replace('SH', 'shanghai'))

四、数据预处理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

1、数据表合并

df_inner=pd.merge(df,df1,how='inner')  # 匹配合并，交集
df_left=pd.merge(df,df1,how='left')        #
df_right=pd.merge(df,df1,how='right')
df_outer=pd.merge(df,df1,how='outer')  #并集

2.

# 设置索引列
print(df_inner.set_index('id'))
# 按照特定列的值排序
print(df_inner.sort_values(by=['age']))
# 按照索引列排序
print(df_inner.sort_index())
# 如果prince列的值>3000，group列显示high，否则显示low
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')
print(df_inner)
# 对复合多个条件的数据进行分组标记
df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1
print(df_inner)

五、数据提取 

主要用到的三个函数：loc,iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。

# 按索引提取单行的数值
print(df_inner.loc[4])
# 按索引提取区域行数值
print(df_inner.iloc[0:2])
# 重设索引
print(df_inner.reset_index())
# 设置日期为索引
df_inner=df_inner.set_index('date')
print(df_inner)
# 使用iloc按位置区域提取数据
print(df_inner.iloc[:3,:2]) #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。
# 适应iloc按位置单独提起数据
print(df_inner.iloc[[0,2,5],[4,5]]) #提取第0、2、5行，4、5列
# 判断city列的值是否为北京
print(df_inner['city'].isin(['beijing']))
# 判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来
print(df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])] )
# 提取前三个字符，并生成数据表
pd.DataFrame(category.str[:3])

 六、数据筛选 

使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和