数据挖掘预处理之《单连续变量》

统计数据:pd.describe()

　　· 缺失值：df.isnull()　　　　#df就是加载进来的数据，DataFrame类型的

　　·异常值:　箱型图模型

画图

　　·分布：

　　　　核密度估计：sns.kdeplot()

　　　　直方图图：sns.distplot()

 

判断方法：df.info()

分类：　　连续型（continuous）和标称型或分类变量（categorical）

f= r'movies_metadata.csv'
df =pd.read_csv(f)  #加载数据  df是DataFrame类型
print(df.info())    #输出数据信息（数目、类型）　　

输出结果

分析统计数据：df.describe()

f= r'movies_metadata.csv'
df =pd.read_csv(f)  #加载数据  df是DataFrame类型
print(df.describe())    #输出统计信息

输出结果

缺失值、异常值单变量绘图，这几项都写在一个类里面，对号入座

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')   #忽略警告
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

class PreProcess:
    def __init__(self,f):
        self.data =pd.read_csv(f)

    def missVal(self,col =None):
        '''缺失值'''
        raw,columns =self.data.shape    #形状：(行数，列数）
        if col:
            num =self.data[col].isnull().sum().sort_values()    #排序
        else:
            num =self.data.isnull().sum().sort_values()
        #print(col, r"缺失数：
", num)
        print(col,r"缺失值比例:
",num/raw)

    def abnormalVal(self,col):
        '''单连续变量异常值'''
        #箱型图模型
        colData =self.data[col]
        dscr =colData.describe() #统计数据
        iqr =dscr.loc['75%'] - dscr['25%']  #四分位间距 =上四分位数-下四分位数
        upBoundry =dscr.loc['75%'] +1.5*iqr    #上界
        lowBoundry =dscr.loc['25%'] - 1.5*iqr   #下界
        num = (colData <lowBoundry).sum() +sum(colData >upBoundry) #超过边界的算异常值
        print(col,"异常值数目：",num)
        print(col,"异常值占比：",num/colData.shape[0])
        #self.data.boxplot(col);plt.show() #直接画箱型图

    def sDraw(self,col):
        '''单连续变量分布图'''
        sns.kdeplot(self.data[col].values,shade=True)   #核密度估计  KDE(Kernel Density Estimate)
        plt.title(col)  #设置标题
        plt.show()
        sns.distplot(self.data[col].values,bins=10,kde=True)    #直方图 bins：直方图数目、kde：是否画kde曲线
        plt.title(col)  #设置标题
        plt.show()

补充：两个图主要看分布

kedplot 的图

distplot()

这个有一点重尾分布：评论数目较少的电影（样本/每一行的数据），占了70%左右