【数据分析&数据挖掘】缺失值的检测与处理——删除法、填充法&插值法

import pandas as pd
import numpy as np

# 加载数据
data = pd.read_excel("../day07/qs.xlsx")
# print("data: 
", data)
print("data的列索引: 
", data.columns)
print("data的数据类型: 
", data.dtypes)

# 1、检测缺失值
# isnull 检测缺失值 经常和sum连用, 推荐使用
res_null = pd.isnull(data).sum()
print("res: 
", res_null)
# notnull 检测缺失值 经常和sum连用
print("data的形状: 
", data.shape)
res = pd.notnull(data)
print("res: 
", res)  # 输出bool-Dataframe

# 2、处理缺失值
# 删除法: 简单，但是容易造成数据的大量丢失
# how = "any" ——只要有缺失值就删除
# how = "all" ——只有全行或者全列都为缺失值才删除
# axis
# inplace
print("~"*60)
data.dropna(how="any", axis=0, inplace=True)
data.dropna(how="any", axis=1, inplace=True)
data.dropna(how="all", axis=0, inplace=True)
print("删除之后的结果: 
", data)


# 填充法: 不会造成数据丢失，但是可能会影响数据的分布，可能会影响最终结果
# 只要不影响数据分布或者对结果影响不是很大的情况
# 数值型 ——可以使用均值、众数、中位数来填充，也可以使用这一列的上下邻居数据来填充
# 类别数据(非数值型) ——可以使用众数来填充，也可以使用这一列的上下邻居数据来填充
# 使用众数来填充非数值型数据
# (1)计算指标
mode = data.loc[:, "门店编号"].mode()[0]
print("mode: 
", mode)
# (2)填充
# 如果使用指标来填充，只需要value与inplace
data.loc[:, "门店编号"].fillna(value=mode, inplace=True)

# 填充类别id与商品id ——都为整数，可以使用指标——众数
# 使用上下邻居来填充
# method = backfill 或者 bfill 下一个非空邻居
# method = pad 或者ffill 上一个非空邻居
data.loc[:, "类别ID"].fillna(method="backfill", inplace=True)
data.loc[:, "类别ID"].fillna(method="bfill", inplace=True)
data.loc[:, "类别ID"].fillna(method="ffill", inplace=True)
data.loc[:, "类别ID"].fillna(method="pad", inplace=True)
print("填充之后的结果: 
", data)


# 插值法
# 线性插值 ——你和线性关系进行插值
# 多项式插值 ——拟合多项式进行插值
# 拉格朗日多项式插值、牛顿多项式插值
# 样条插值 ——拟合曲线进行插值
x = np.array([1, 2, 3, 4, 5, 8, 9])
y = np.array([3, 5, 7, 9, 11, 17, 19])
z = np.array([2, 8, 18, 32, 50 ,128, 162])
from scipy.interpolate import spline
from scipy.interpolate import interp1d
from scipy.interpolate import lagrange

# 线型插值
linear_1 = interp1d(x=x, y=y, kind="linear")
linear_2 = interp1d(x=x, y=z, kind="linear")
linear_3 = interp1d(x=x, y=y, kind="cubic")


print("线性插值: 
", linear_1([6, 7])) # [13. 15.]  注意不是1是第一个索引
# print("线性插值: 
", linear_1([5, 6])) # [11. 13.]
print("线性插值: 
", linear_2([6, 7])) # [76. 102]
print("线性插值: 
", linear_3([6, 7])) # [76. 102]

# 拉格朗日插值
la_1 = lagrange(x=x, w=y)
la_2 = lagrange(x=x, w=y)

print("拉格朗日: 
",  la_1)  # [13, 15]
print("拉格朗日: 
",  la_2)  # [72, 98]

# 样条插值 ——拟合曲线进行差池
print(spline(xk=x, yk=y, xnew=[6, 7]))  # [13, 15]
print(spline(xk=x, yk=z, xnew=[6, 7]))  # [72, 98]

# 对于线型关系，线型插值，表现良好，多项式插值，与样条插值也表现良好
# 对于非线型关系，线型插值，表现不好，多项式插值，与样条插值表现良好
# 推荐如果想要使用插值方式，使用拉格朗日插值和样条插值


# 对于非NaN类型的数据——先将非NaN类型的数据转化为np.nan
data.replace("*", np.nan, inplace=True)
print("data: 
", data)
# 替换之后，可以删除、填充、插值
data.loc[:, "门店编号"].fillna(value=mode, inplace=True)
print("最终的data: 
", data)
print(type(np.nan))