Pandas库学习笔记

import pandas as pd

两个数据类型：Series,DataFrame

pandas是基于Numpy实现的扩展库，提供了高效地操作大型数据集所需的工具。

Series类型由一组数据和与之相关的数据索引组成。

In [4]: d=pd.Series(range(5)) #自动索引
In [5]: d
Out[5]: 
0    0
1    1
2    2
3    3
4    4
dtype: int64

In [6]: d=pd.Series(range(5),index=['a','b','c','d','e'])    #自定义索引
In [7]: d
Out[7]: 
a    0
b    1
c    2
d    3
e    4
dtype: int64

直接传入字典：

In [10]: d=pd.Series({'a':1,'b':2,'c':3})
In [11]: d
Out[11]: 
a    1
b    2
c    3
dtype: int64

或从ndarray类型创建：

In [16]: d=pd.Series(np.arange(5),index=np.arange(9,4,-1))
In [17]: d
Out[17]: 
9    0
8    1
7    2
6    3
5    4
dtype: int64

.index获取索引，.values获得数据值

DataFrame类型由共用相同索引的一组列构成，是一个表格行的数据类型，既有行索引，也有列索引，常用与表达二维数据。

1.从一维ndarray对象字典创建：

In [40]: d=pd.DataFrame(np.arange(20).reshape(4,5))

In [41]: d
Out[41]: 
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19

In [43]: dt={'one':pd.Series([1,2,3],index=['a','b','c']),
    ...:     'two':pd.Series([9,8,7,6],index=['a','b','c','d'])}

In [45]: d=pd.DataFrame(dt)

In [46]: d
Out[46]: 
   one  two
a  1.0    9
b  2.0    8
c  3.0    7
d  NaN    6

In [47]: pd.DataFrame(dt,index=['b','c','d'],columns=['two','three'])
Out[47]: 
   two three
b    8   NaN
c    7   NaN
d    6   NaN

2.从列表类型的字典创建：

In [50]: dt={'one':[1,2,3,4],'two':[9,8,7,6]}

In [51]: d=pd.DataFrame(dt,index=['a','b','c','d'])

In [52]: d
Out[52]: 
   one  two
a    1    9
b    2    8
c    3    7
d    4    6

重新索引  .reindex()：

In [2]: d1={'name':['Alice','Bob','Tony'],
   ...:     'gender':['f','m','m'],
   ...:     'age':[18,20,25]}

In [5]: d=pd.DataFrame(d1,index=['c1','c2','c3'])
In [6]: d
Out[6]: 
    age gender   name
c1   18      f  Alice
c2   20      m    Bob
c3   25      m   Tony

In [7]: d=d.reindex(['c3','c2','c1'])
In [8]: d
Out[8]: 
    age gender   name
c3   25      m   Tony
c2   20      m    Bob
c1   18      f  Alice

In [9]: d=d.reindex(columns=['name','gender','age'])
In [10]: d
Out[10]: 
     name gender  age
c3   Tony      m   25
c2    Bob      m   20
c1  Alice      f   18

索引类型的常用方法：

In [11]: new1=d.columns.insert(3,'birthday')

In [12]: new1
Out[12]: Index([u'name', u'gender', u'age', u'birthday'], dtype='object')

In [17]: newd=d.reindex(columns=new1,fill_value='0101')

In [18]: newd
Out[18]: 
     name gender  age birthday
c3   Tony      m   25     0101
c2    Bob      m   20     0101
c1  Alice      f   18     0101

In [29]: newd.drop('c1')       #drop和delete的区别
Out[29]: 
    name gender  age birthday
c3  Tony      m   25     0101
c2   Bob      m   20     0101

In [32]: n=newd.index.delete(2)
In [33]: newd=newd.reindex(index=n)

In [34]: newd
Out[34]: 
    name gender  age birthday
c3  Tony      m   25     0101
c2   Bob      m   20     0101

    

 .sort_index(axis=0,ascending=True)  根据索引进行排序，默认升序。

 .sort_values()

基本的统计分析函数：

In [7]: b
Out[7]: 
    0   1   2   3   4
c   0   1   2   3   4
b   5   6   7   8   9
a  10  11  12  13  14
d  15  16  17  18  19

In [8]: b.describe()
Out[8]: 
               0          1          2          3          4
count   4.000000   4.000000   4.000000   4.000000   4.000000
mean    7.500000   8.500000   9.500000  10.500000  11.500000
std     6.454972   6.454972   6.454972   6.454972   6.454972
min     0.000000   1.000000   2.000000   3.000000   4.000000
25%     3.750000   4.750000   5.750000   6.750000   7.750000
50%     7.500000   8.500000   9.500000  10.500000  11.500000
75%    11.250000  12.250000  13.250000  14.250000  15.250000
max    15.000000  16.000000  17.000000  18.000000  19.000000

In [9]: type(b.describe())
Out[9]: pandas.core.frame.DataFrame

In [10]: b.describe().ix['max']
Out[10]: 
0    15.0
1    16.0
2    17.0
3    18.0
4    19.0
Name: max, dtype: float64

In [11]: b.describe()[2]
Out[11]: 
count     4.000000
mean      9.500000
std       6.454972
min       2.000000
25%       5.750000
50%       9.500000
75%      13.250000
max      17.000000
Name: 2, dtype: float64

 数据的相关性：

　　协方差：

　　　　对于两个事物X,Y ,

　　　　如果他们的协方差>0,X和Y正相关;

　　　　协方差<0，X和Y负相关;

　　　　协方差=0,独立无关。

  .cov()

　　Pearson相关系数：

　　　　

　　　　.corr()