Python对多属性的重复数据去重

百变鹏仔 3小时前 #Python

文章标签属性

下面为大家分享一篇python对多属性的重复数据去重实例，具有很好的参考价值，希望对大家有所帮助。一起过来看看吧

python中的pandas模块中对重复数据去重步骤：

1）利用DataFrame中的duplicated方法返回一个布尔型的Series,显示各行是否有重复行，没有重复行显示为FALSE，有重复行显示为TRUE；

2）再利用DataFrame中的drop_duplicates方法用于返回一个移除了重复行的DataFrame。

注释：

立即学习“Python免费学习笔记（深入）”；

如果duplicated方法和drop_duplicates方法中没有设置参数，则这两个方法默认会判断全部咧，如果在这两个方法中加入了指定的属性名（或者称为列名），例如：frame.drop_duplicates(['state']),则指定部分列（state列）进行重复项的判断。

具体实例如下：

&gt;&gt;&gt; import pandas as pd &gt;&gt;&gt; data={'state':[1,1,2,2],'pop':['a','b','c','d']} &gt;&gt;&gt; frame=pd.DataFrame(data) &gt;&gt;&gt; frame  pop state 0 a  1 1 b  1 2 c  2 3 d  2 &gt;&gt;&gt; IsDuplicated=frame.duplicated() &gt;&gt;&gt; print IsDuplicated 0 False 1 False 2 False 3 False dtype: bool &gt;&gt;&gt; frame=frame.drop_duplicates(['state']) &gt;&gt;&gt; frame  pop state 0 a  1 2 c  2 &gt;&gt;&gt; IsDuplicated=frame.duplicated(['state']) &gt;&gt;&gt; print IsDuplicated 0 False 2 False dtype: bool &gt;&gt;&gt;

文章推荐

Python对多属性的重复数据去重

Python实现封装MySQLdb基本操作类

VSCode下配置python调试运行环境的方法_python

python 定时修改数据库的示例代码_python

对Python中DataFrame按照行遍历的方法_python

python解决pandas处理缺失值为空字符串的问题