pandas 初识（三）

Python Pandas 空值

• pandas 判断指定列是否（全部）为NaN（空值）

import pandas as pd
import numpy as np

df = pd.DataFrame({"a": ["aa", np.NAN, np.NAN], "b": [3, np.NAN, 2]})

• • 判断某列是否有NaN

>>> df.a.isnull().any()
True

• • 判断是否全部为 NAN

>>> df.a.isnull().all()
True

• NAN值替换：
  • 不能使用，apply 去判断类型；DataFrame中np.nan 和 None 同为 isnull 

>>> df.c.apply(None if x == np.nan else x)  # 错误的方式，x的类型不是np.nan活着np.NAN, 任何类型都有可能。所以这种判断时可用

>>> df = df.where(df.notnull(), None)
>>> print(df)
>>> print(df.isnull())
      a     b     c
0    aa        None
1  None  None  None
2  None  None  None
       a      b     c
0  False  False  True
1   True   True  True
2   True   True  True

Pandas 使用 cut 把一组数据分割成离散的区间，比如：一组年龄，一组成绩，把年龄或者成绩数据分割成不同的段上面，并打上标签

• 定义：

def cut(x, bins, right=True, labels=None, retbins=False, precision=3,
        include_lowest=False, duplicates='raise'):

• 参数：
  • x： 被切分的数组数据（array-like），必须为1维，不能使用DataFrame
  • bins: 被切割后的区间，三种形式： int类型，数组或者 pandas.IntervalIndex
    • int: 将 x 均分成 bins 份
    • 数组（bins=[-1, 1, 2, 5,  np.inf]）： 分成以下组： (-1, 1], (1, 2], (2, 5], (5, inf), 注意： (-1, 1] 不为str类型
  • right：boo 类型，默认为True，表示是否包含区间右部，比如： bins=[0, 1, 2], right=True, 则： (0, 1], (1, 2] 如果为False，则：（1,2），（2,3）
  • labels： 给分割后的区间打上相应的标签
  • retbins： bool 类型，表示是否将分割后的 bins 返回，当bins为一个int类型，可以获取划分后的区间，默认为False
  • precision： 分割区间，边境的小数位数，默认为3位
  • include_lowest: bool型的参数，表示区间的左边是开还是闭的，默认为false，也就是不包含区间左部（闭）
  • duplicates: 是否允许重复区间： raise， drop，默认： raise（不允许）
• 例子：

import pandas as pd
ages = np.array([1,5,10,40,36,12,58,62,77,89,100,18,20,25,30,32]) #年龄数据
pd.cut(ages, [0,5,20,30,50,100], labels=False)
pd.cut(ages, [0,5,20,30,50,100], labels=False)
array([0, 0, 1, 3, 3, 1, 4, 4, 4, 4, 4, 1, 1, 2, 2, 3], dtype=int64)

• • 与 groupby 配合实现分组： df.groupby(pd.cut(df.ages, [0,5,20,30,50,100]))

Pandas 使用 groupby 对数据分组进行迭代

import pandas as pd
import numpy as np

df = pd.DataFrame({'key1': ['a', 'a', 'b', 'b', 'a'], 'key2': ['one', 'two', 'one', 'two', 'one'],
                   'data1': np.random.randn(5), 'data2': np.random.randn(5)})

print(df)
print("*********")

class_key = ["key1", "key2"]
# class_key = ["key1"]  # 如果 class_key 是一个元素或者字符串，这class_ 为字符串
for class_, group in df.groupby(class_key):
    print("______________")
    print(class_)
    print(group)

结果：

  key1 key2     data1     data2
0    a  one  1.237276 -0.813727
1    a  two  0.508972 -1.336699
2    b  one -0.343635  0.714680
3    b  two  2.433797  0.417454
4    a  one  1.215114  2.646685
*********
______________
('a', 'one')
  key1 key2     data1     data2
0    a  one  1.237276 -0.813727
4    a  one  1.215114  2.646685
______________
('a', 'two')
  key1 key2     data1     data2
1    a  two  0.508972 -1.336699
______________
('b', 'one')
  key1 key2     data1    data2
2    b  one -0.343635  0.71468
______________
('b', 'two')
  key1 key2     data1     data2
3    b  two  2.433797  0.417454

Pandas 修改列名

import pandas as pd
import numpy as np

a = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [7, 8, 9]})
print(a)

# a.colums = ["a", "b", "c"] # 错误的写法
a.rename(columns={'A': 'a', 'C': 'c'}, inplace=True)
print(a)

结果：

   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9
   a  B  c
0  1  4  7
1  2  5  8
2  3  6  9