Python机器学习（八十七）Pandas 去除重复

去除重复数据是一项常见操作，Pandas中，可以使用drop_duplicates方法。

电影数据集没有重复的行，我们来制造一些重复行。

temp_df = movies_df.append(movies_df)

temp_df.shape

输出

(2000, 11)

append()将返回一个副本，不影响原始数据DataFrame。使用.shape属性查看形状，可以看到数据增加了一倍。

接下来删除重复数据:

temp_df2 = temp_df.drop_duplicates()

temp_df2.shape

输出

(1000, 11)

与append()一样，此处drop_duplicate()方法也将返回副本。

如果想直接在原数据上修改，可以指定参数：inplace=True，Pandas的许多方法都可使用inplace参数。

temp_df.drop_duplicates(inplace=True)

temp_df被直接修改，里面的重复项被去除。

drop_duplicate()的另一个重要参数是keep，它有三个可能的选项:

first: (默认)删除重复项，但保留的是首次出现的项。
last: 删除重复项，但保留的是最后出现的项。
False: 删除重复项，不保留任何重复项。

前面的示例中没有定义keep参数，所以默认值为first。这意味着如果两行是相同的，Pandas将删除第二行保留第一行。使用last效果相反: 第一行被删除保留第二行。False值会删除所有的重复项，如果两行是相同的，这两行都将被删除。

temp_df = movies_df.append(movies_df)  # make a new copy

temp_df.drop_duplicates(inplace=True, keep=False)

temp_df.shape

输出

(0, 11)

因为所有行都是重复的，所以keep=False将删除所有行。