1 import numpy as np 2 import pandas as pd 3 4 #Pandas 的基本数据结构 5 if 0: 6 7 # 两种 8 # Series 9 if 0: 10 #一维Series 可以用一维列表来初始化 11 if 0: 12 s = pd.Series([1,2,3,np.nan,4,5]) 13 print(s) 14 15 s1 = pd.Series([1,2,3,np.nan,4,5],index=['a','b','c','d','e','f']) 16 print(s1) 17 18 #索引 - 数据的行标签 19 if 0: 20 s = pd.Series([1,2,3,np.nan,4,5]) 21 print(s.index) #RangeIndex(start=0, stop=6, step=1) 22 23 #值 24 if 0: 25 s = pd.Series([1,2,3,np.nan,4,5]) 26 print(s.values) #[ 1. 2. 3. nan 4. 5.] 27 pass 28 29 #切片操作 30 if 0: 31 s = pd.Series([1,2,3,np.nan,5,4]) 32 print(s[:-3]) 33 34 print(s[::2]) 35 36 #索引赋值 37 if 0: 38 s = pd.Series([1,2,3,np.nan,5,4]) 39 print(s) 40 s.index.name = "idx" 41 print(s) 42 43 #可以通过index 直接修改索引的值 44 s.index = list("abcdef") 45 print(s) 46 print(s[:3]) #照样可以使用 47 print(s['a':'c']) # 注，这里是包含‘c' 48 pass 49 # DataFrame 50 if 1: 51 #构造一个时间序列 52 if 0: 53 date = pd.date_range('20190901',periods=60 ) #时间序列 60 天 54 print(date) 55 #创建一个dataframe 结构 56 if 0: 57 #使用一个二维数组来创建 58 if 0: 59 df = pd.DataFrame(np.random.randn(3,4)) #3 行 4 列的正太分布二维数组传入 60 print(df) 61 62 date =pd.date_range('20190921',periods=3) 63 df2 = pd.DataFrame(np.random.randn(3,4),index=date ) 64 print(df2) 65 66 df3 = pd.DataFrame(np.random.randn(3,4),index=date,columns=list('ABCD')) 67 print(df3) 68 69 70 #使用字典来创建 71 if 0: 72 arr =np.array([4]*4) 73 print(arr) #[4 4 4 4] 74 if 0: 75 #字典的每个key 代表一列，其value 可以是各种能转化为Series 的对象 76 #与series 要求不同，DataFrame 只要求每列数据类型相同 77 d = {"A":pd.date_range('20190921',periods=4),"B":pd.Timestamp('20190921'),"C":pd.Series(1,index=list("abcd")),'D':np.array([4]*4,dtype=float)} 78 df = pd.DataFrame(d) 79 print(df) 80 pass 81 82 #查看数据 83 if 1: 84 df = pd.DataFrame({"date":pd.date_range("20190921",periods=15),"a":1,"b":pd.Series([4]*15,dtype=float)}) 85 #头尾数据 86 if 0: 87 #head 和 tail方法 可以分别查看 前几行和后几行 默认是5 88 print(df) 89 print(df.head()) 90 print(df.tail()) 91 92 print(df.head(3)) #前3行 93 print(df.tail(3)) #后3行 94 95 pass 96 97 #查看各个列的数据类型 98 if 0: 99 print(df.dtypes) 100 pass 101 102 #行标 列标 和数据 103 if 0: 104 print(df.index) #RangeIndex(start=0, stop=15, step=1) 105 print(df.columns) #Index(['date', 'a', 'b'], dtype='object') 106 print(df.values) 107 108 109 110 111 pass 112 pass 113 114 pass 115 116 117 #Pandas 读取数据及数据操作 118 if 1: 119 #读取excel 数据文件 120 if 0: 121 #此时要注意 它依赖xlrd 包，所以要按照它 122 df = pd.read_excel("d:/test.xlsx") 123 print(df.head()) 124 print(df.tail()) 125 pass 126 127 df = pd.read_excel("d:/test.xlsx") 128 #行操作 129 if 0: 130 print(df.iloc[0]) 131 print(df.loc[0]) 132 133 #查看前五行 134 print(df.iloc[:5]) 135 print(df.loc[:5]) # 它和iloc的区别是 它包含了右端 136 137 pass 138 139 #添加一行 #通过定义一个Series 然后append 到dataframe 中 140 if 0: 141 dit = {"学号":17096220,"姓名":"陈典","年龄":19} 142 s = pd.Series(dit) 143 s.name = "320" 144 print(s) 145 df = df.append(s) 146 print(df[-5:]) 147 148 pass 149 150 #删除一行 151 if 0: 152 print(df[-2:]) 153 df = df.drop([319]) #删除319 行 154 print(df[-2:]) 155 156 df = df.drop([317,318]) #也可以同时删除多行 157 print(df[-2:]) 158 159 pass 160 161 #列操作 162 if 0: 163 print(df.columns) #Index(['学号', '姓名', '年龄'], dtype='object') 164 #取一列 165 if 0: 166 print(df['姓名']) #查看全部的名字 167 168 print(df['姓名'][:5]) #查看前5个名字 169 print(df['姓名'][-5:]) #查看后5个名字 170 171 #取多列 172 if 0: 173 print(df[['姓名','学号']][:5]) #取多列 174 pass 175 176 #增加一列 177 if 0: 178 df['序号'] = range(1,len(df)+1) 179 print(df[-3:]) 180 pass 181 182 #删除一列 183 if 0: 184 df = df.drop('学号',axis=1) #注意要加上axis =1 默认是操作的行axis = 0 185 print(df[-5:]) 186 187 pass 188 189 pass 190 191 #通过标签选择数据 192 if 0: 193 #之前的df[] 选择的都是列数据，现在是通过标签选择数据 194 #选择一行一列 195 if 0: 196 print(df.loc[1,'姓名']) #选择出 标签为1 的姓名数据 197 pass 198 #选择多行多列 199 if 0: 200 print(df.loc[316:,'姓名':'年龄']) #选择初标签为 316 到最后的标签，列是姓名和年龄的 201 202 print(df.loc[[1,2,5,310],['学号','姓名']]) #通过标签来选择数据 203 pass 204 205 pass 206 207 #条件选择 208 if 0: 209 #选择姓名为张三的所有条目 210 if 0: 211 print( df['姓名'] == '张三') 212 # print(df[df['姓名'] == '张三']) 213 print(df[df['姓名'] == '张三'][:5]) #查看前5行 214 #选择姓名为张三，且年龄大于100 的所有条目 215 if 0: 216 # print( df['姓名']=='张三' & df['年龄']>100) #不对 217 print( (df['姓名']=='张三') & (df['年龄']>100)) #多个条件要用（）括起来 218 #上一行等价于下面一行 219 # print( (df.姓名 == '张三' ) & (df.年龄 >100 ) ) 220 221 print(df[(df['姓名']=='张三') & (df['年龄']>100)]) 222 # 选择姓名为张三或者张昌博，且 年龄大于100 小于 150 的所有条目 223 if 1: 224 #基本形式 df [ ( () | () ) & ( () &() )] 225 # df.姓名 == '张三' df.姓名 == '张昌博' df.年龄 >100 df.年龄<150 226 print(df[ ( (df.姓名 == '张三') | (df.姓名 == '张昌博') ) &( (df.年龄 >100) & (df.年龄<150) ) ]) 227 pass 228 229 pass 230 231 #缺失值和异常值的处理 232 if 1: 233 234 #缺失值的处理方法 235 if 0: 236 #常用的方法： 237 # 1,dropna 根据标签的缺失值进行过滤 ，删除缺失值 238 # 2,fillna 对缺失值进行填充 239 # 3,isnull 返回一个布尔值对象，判断那些值是缺失值 240 # 4,notnull isnull 的否定式 241 pass 242 243 #利用isnull 判断缺失值 244 if 0: 245 # print( df.isnull()) 246 print(df['姓名'].isnull()) #一般是判断某一类是否有缺失值 247 print(df[ df['姓名'].isnull() ]) 248 pass 249 250 #填充缺失值 251 if 0: 252 # 填充一般用于数值型 的 253 if 0: 254 #判断年龄是否有缺失值 255 print( df [ df['年龄'].isnull() ] ) 256 257 df['年龄'].fillna(0,inplace=True) #填充为0 258 #inplace 代表的是是否在原始数据中进行填充 259 print( df [ df['年龄'].isnull() ] ) 260 #填充非数值型的 261 if 1: 262 print(df [ df['姓名'].isnull() ] ) 263 df['姓名'] = df['姓名'].fillna('未知姓名') 264 print(df['姓名'][164:] ) 265 pass 266 267 268 pass 269 270 #删除缺失值 271 if 1: 272 # df.dropna() 参数： 273 # how ='all' 删除全为空值的行和列 274 # inplace= True 覆盖原有数据 275 # axis =0 选择要操作的维度 276 if 0: 277 print(len(df)) 278 df2 = df.dropna() 279 print(len(df2)) 280 281 print(len(df)) 282 df2 = df.dropna(how='all') 283 print(len(df2)) 284 285 pass 286 287 #异常值的处理 288 if 0: 289 #异常值 例如 年龄为负数 等等.... 一般直接删除就好了 290 print(df[df['年龄'] < 0 ]) 291 df = df[df['年龄'] >0 ] #这样就将年龄小与 0 的给删除了 292 293 294 pass 295 296 #数据保存 297 df.to_excel('d:/test02.xlsx') #注意：如果要保存到excel 要pip 安装openpyxl 模块 298 pass