Pandas处理以下三个数据结构 -
- 系列(
Series)----一维ndarray特点：带有标签，可以使用标签作为索引，大小不能改变，内部数据可以改变。
属性：与NumPy类似，多了一个轴标签axis lables - 数据帧(
DataFrame)---二维ndarray 特点：带标签，可以同行列标签索引，尺度可变，数据可变 - 面板(
Panel) 特点：面板是具有异构数据的三维数据结构。在图形表示中很难表示面板
这些数据结构构建在Numpy数组之上，这意味着它们很快。
考虑这些数据结构的最好方法是，较高维数据结构是其较低维数据结构的容器。 例如，DataFrame是Series的容器，Panel是DataFrame的容器。
1.对象的创建：数组 字典 标量值或常数
import pandas as pd import numpy as np s = pd.Series([1,3,5,np.nan,6,8]) print(s)
输出：
0 1.0 1 3.0 2 5.0 3 NaN 4 6.0 5 8.0 dtype: float64
通过传递numpy数组，使用datetime索引和标记列来创建DataFrame
dates = pd.date_range('20180701', periods=7) print(dates) print("--"*16) df = pd.DataFrame(np.random.randn(7,4), index=dates, columns=list('ABCD')) print(df)
输出：
DatetimeIndex(['2018-07-01', '2018-07-02', '2018-07-03', '2018-07-04', '2018-07-05', '2018-07-06', '2018-07-07'], dtype='datetime64[ns]', freq='D') -------------------------------- A B C D 2018-07-01 -0.500163 0.032670 -1.026652 -0.444624 2018-07-02 0.870395 -1.879662 0.476651 0.546444 2018-07-03 -0.182999 -0.497964 0.840211 0.256168 2018-07-04 1.130527 -0.664251 -0.226294 1.660457 2018-07-05 -1.304568 0.204915 0.366062 1.905667 2018-07-06 0.605275 0.356298 -0.561465 -0.000841 2018-07-07 0.226876 0.998272 0.592386 0.306725
2.查看数据
x.head()可以查看顶部数据 x.tail()可以输入参数，查看指定个数的底部数据
df1 = pd.DataFrame([22,24,54,65,76,88,98], columns=list('A')) print(df1.head()) print("--------------" * 10) print(df1.tail(3))
输出：
A 0 22 1 24 2 54 3 65 4 76 ------------------------------------------------------------------------------------ A 4 76 5 88 6 98
3.x.describe()描述显示数据的快速统计摘要，参考以下示例代码
dates = pd.date_range('20180701', periods=7) df = pd.DataFrame(np.random.randn(7,4), index=dates, columns=list('ABCD')) print(df.describe())
输出：
A B C D count 7.000000 7.000000 7.000000 7.000000 mean -0.051137 -0.290501 -0.308145 -0.287636 std 0.720711 1.084754 0.946105 0.615045 min -0.766295 -1.789795 -1.962022 -1.262667 25% -0.658085 -1.213707 -0.778745 -0.468529 50% -0.286046 0.302139 0.020762 -0.379909 75% 0.496656 0.476699 0.207962 -0.100779 max 1.017243 0.928164 0.925811 0.767738
4.排序
（1）标签索引的排序----sort_index(axis=1,ascending=False)
其中ascending默认为True,升序排序
（2）元素单列排序：----sort_values（by=‘B’）
默认会按所在列进行升序排序
5.选择系列元素 ， 通过【】使用
值得注意的是：利用dataframe时，做切片用的标签边界可以取到，而作为下标的右边界是取不到的。
（1）按标签选择：loc /at 按下标选择：iloc/iat
print(df.loc[dates[0]])
输出：
A 1.320921 B 0.522823 C 0.340569 D -1.911398 Name: 2017-01-01 00:00:00, dtype: float64
（2）通过标签选择多轴，其中：处也可以写行标签
print(df.loc[:,['B','D']])
输出：
B D 2017-01-01 0.522823 -1.911398 2017-01-02 -0.354351 -1.719314 2017-01-03 -0.166968 -0.623292 2017-01-04 -1.198105 0.824853 2017-01-05 -0.829653 0.310548 2017-01-06 -0.964786 0.051597
（3）布尔索引
也可以根据isin()的参数条件进行过滤，使用参考教程。
print(df[df.A>0])
输出：
A B C D 2017-01-01 1.320921 0.522823 0.340569 -1.911398 2017-01-03 0.991224 -0.166968 0.840899 -0.623292 2017-01-04 0.240294 -1.198105 0.021427 0.824853 2017-01-06 0.683117 -0.964786 -0.159696 0.051597
5.（1）列的选择 df['列名']
（2）列的添加：df['列名']=df.Serices[数组]
（3）列的删除：del df['列名']
6.（1）行的选择 df[]切片、loc标签索引
（2）行的添加：df.append（df系列）
（3）行的删除：df.drop（索引）
7.迭代
for col in df: print (col)
输出：
A
B
C
D
表示：如果只是迭代df对象，而非他的迭代器迭代，则只会输出dataframe的列名。
（1）所以迭代列应该为：
for key,value in df.iteritems(): print (key,value)
（2）迭代行为：
for row_index,row in df.iterrows(): print (row_index,row)
（3）itertuples()方法将为DataFrame中的每一行返回一个产生一个命名元组的迭代器。元组的第一个元素将是行的相应索引值，而剩余的值是行值。
注意 - 不要尝试在迭代时修改任何对象。迭代是用于读取，迭代器返回原始对象(视图)的副本，因此更改将不会反映在原始对象上。
7.分组和聚合
GroupBy（）/ Agg（）
（1）任何分组(groupby)操作都涉及原始对象的以下操作之一。它们是 -
- 分割对象
- 应用一个函数
- 结合的结果
在许多情况下，我们将数据分成多个集合，并在每个子集上应用一些函数。在应用函数中，可以执行以下操作 -
- 聚合 - 计算汇总统计
- 转换 - 执行一些特定于组的操作
- 过滤 - 在某些情况下丢弃数据
df.groupby('列名').groups
或
grouped = df.groupby('列名') for name,group in grouped: print (name) print (group)
get_group()方法，可以选择一个组
（2）聚合函数为每个组返回单个聚合值。当创建了分组(group by)对象，就可以对分组数据执行多个聚合操作。
一个比较常用的是通过聚合或等效的agg方法聚合。
grouped = df.groupby('列名1') print (grouped['列名2'].agg(np.mean))
（3）转换
分组或列上的转换返回索引大小与被分组的索引相同的对象。因此，转换应该返回与组块大小相同的结果。
print (grouped.transform(score))
（4）过滤
过滤根据定义的标准过滤数据并返回数据的子集。filter()函数用于过滤数据。
filter = df.groupby('Team').filter(lambda x: len(x) >= 3) print (filter)
8.可视化
df = pd.DataFrame(np.random.randn(10,4),index=pd.date_range('2018/12/18', periods=10), columns=list('ABCD')) df.plot()
bar或barh为条形hist为直方图boxplot为盒型图area为“面积”scatter为散点图
import pandas as pd from matplotlib import pyplot as plt import numpy as np import random df = pd.DataFrame(np.random.randn(10,4),index=pd.date_range('2018/12/18', periods=10), columns=list('ABCD')) df.plot() plt.show()
输出：
df = pd.DataFrame(np.random.rand(10,4),columns=['a','b','c','d']) df.plot.bar() plt.show()
输出：
其余图形类似上面的方法，各种图形请参考Matplotlib官网，详细介绍会在下一篇博客，请关注留言。