数据预处理 | 使用 Pandas 统一同一特征中不同的数据类型

出现的问题：如图，总消费金额本应该为float类型，此处却显示object

需求：将 TotalCharges 的类型转换成float

使用 pandas.to_numeric(arg, errors='raise', downcast=None) 方法，可将参数转换为数字类型。

（别的类型转换，遇到再补充）

df = pd.read_excel('./data_files/Using_Customer-Churn.xlsx')

# 将df.TotalCharges 转成数字类型的数据，则将无效解析设置为NaN
df.TotalCharges = pd.to_numeric(df.TotalCharges, errors='coerce')
df.isnull().sum()

 此时，转换完成！

关于pandas.to_numeric 方法的详细信息可参见：https://www.cjavapy.com/article/532/

 —————————— 手动分隔，以下为原来的野生思路 —————————

1 首先要找出本特征中，包含的数据类型究竟有哪些

# 创建一个用于盛放数据类型的列表
test_type = list()

for i in churn["TotalCharges"]:
    
    # 将数据类型 不重复的放入列表中
    if type(i) not in test_type:
        test_type.append(type(i))
print(test_type)

"""
[<class 'float'>, <class 'int'>, <class 'str'>]
"""

2 查看除 float 和 int 之外的类型的数据有哪些

# 创建用于盛放数据的列表
str_values= list()

for i in churn["TotalCharges"]:
    if type(i) != float and type(i) != int:
        # 将既不是 float 也不是 int 的数据加到列表
        str_values.append(i)
        
print(str_values)

"""
[' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ']
"""

此时得到：非数值型数据均为空格。

3 将数据统一为 float 类型

# 空值替换所有空格
churn['TotalCharges'] = churn["TotalCharges"].replace(" ",np.nan)
# 去掉含有空值的样本
churn = churn[churn["TotalCharges"].notnull()]
# 将 TotalCharges 转换成 float类型
churn['TotalCharges'] = churn['TotalCharges'].astype(float)

此时

 大功告成！

遍历的方法，相对来说效率略低，Pandas 应该有什么方法，更加直接吧

纯野生思路，找到更好的办法再更新~