第二章：第一节数据清洗及特征处理

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd
#加载数据train.csv
df = pd.read_csv("train.csv")
df.head(5)

2 第二章：数据清洗及特征处理

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。

2.1 缺失值观察与处理

我们拿到的数据经常会有很多缺失值，比如我们可以看到Cabin列存在NaN，那其他列还有没有缺失值，这些缺失值要怎么处理呢

2.1.1 任务一：缺失值观察

(1) 请查看每个特征缺失值个数
(2) 请查看Age， Cabin， Embarked列的数据 以上方式都有多种方式，所以大家多多益善

print(df.isnull().sum())

print(df.info())

print(df[["Age","Cabin","Embarked"]].head(3))
df.loc[0:3,["Age","Cabin","Embarked"]]

2.1.2 任务二：对缺失值进行处理

(1)处理缺失值一般有几种思路

(2) 请尝试对Age列的数据的缺失值进行处理

(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理

处理缺失值的一般思路：
提醒：可使用的函数有—>dropna函数与fillna函数

df1=df['Age'].dropna()
df1[0:3]

df[df['Age'].notnull()][0:5]

#写入代码
#手动填充
df2=df
df2[df2['Age']==None]=0
df2.head()

df3=df
df3[df3['Age'].isnull()]=0
df3.head()

df4=df
df4[df4['Age'] == np.nan] = 0
df4.head()

【思考1】dropna和fillna有哪些参数，分别如何使用呢?

【思考】检索空缺值用np.nan,None以及.isnull()哪个更好，这是为什么？如果其中某个方式无法找到缺失值，原因又是为什么？

#思考回答

df.dropna(axis=1,how='all') #how='all'丢弃那些全为NA的行 axis指定丢弃全为NA的列
df.fillna({'Cabin':'C0'}).head(5) #传入字典 指定填充某些列的指定值
df4.fillna(0,inplace=True) #True 对现有对象进行修改 否则返回新的对象
df4.fillna(0) #填充0 返回新的对象
df4.fillna(method='ffill',limit=1).head(4)#默认ffill填充方法 指定向下填充两个空值

2.2 重复值观察与处理

由于这样那样的原因，数据中会不会存在重复值呢，如果存在要怎样处理呢

2.2.1 任务一：请查看数据中的重复值

df[df.duplicated()]

2.2.2 任务二：对重复值进行处理

(1)重复值有哪些处理方式呢？

(2)处理我们数据的重复值

方法多多益善

#重复值有哪些处理方式：
df['Age'].unique()

2.2.3 任务三：将前面清洗的数据保存为csv格式

df.to_csv(‘test_clear.csv’)

2.3 特征观察与处理

我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征，数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

2.3.1 任务一：对年龄进行分箱（离散化）处理

(1) 分箱操作是什么？

(2) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示

(3) 将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示

(4) 将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示

(5) 将上面的获得的数据分别进行保存，保存为csv格式

#分箱操作是什么：
#连续的变量分成多个区间值 并用变量表示区间 离散化处理
df['AgeBand'] = pd.cut(df['Age'],5,labels = [1,2,3,4,5])
df.head()

df.to_csv('test_ave.csv')
df['AgeBand'] = pd.cut(df['Age'],[0,2,15,30,50,80],labels = [1,2,3,4,5])#超出部分为空
df.head()

df['AgeBand'] = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])#qucut
df.head()

2.3.2 任务二：对文本变量进行转换

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

print(df['Sex'].value_counts())
print(df['Cabin'].value_counts())
print(df['Embarked'].value_counts())

df['Sex_N'] = df['Sex'].replace(['male','female'],[1,2])
df.head()

df['Sex_N'] = df['Sex'].replace(['male','female'],[1,2])
df.head()

Sex_to_M={'male':1,'female':2}
df['Sex_M'] = df['Sex'].map(Sex_to_M)
df.head()

2.3.3 任务三：从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

#写入代码 
# import re
# pattern = r'([A-Za-z]+).'
# regex = re.compile(pattern)
# df['Title'] = regex.findall(df['Name']) 
# 没啥用
df['Title'] = df['Name'].str.extract('([A-Za-z]+).',expand=False)
df