Python對多屬性的重複資料去重__Python

python中的pandas模組中對重複資料去重步驟：

1）利用DataFrame中的duplicated方法返回一個布爾型的Series,顯示各行是否有重複行，沒有重複行顯示為FALSE，有重複行顯示為TRUE；

2）再利用DataFrame中的drop_duplicates方法用於返回一個移除了重複行的DataFrame。

注釋：

如果duplicated方法和drop_duplicates方法中沒有設定參數，則這兩個方法預設會判斷全部咧，如果在這兩個方法中加入了指定的屬性名稱（或者稱為列名），例如：frame.drop_duplicates(['state']),則指定部分列（state列）進行重複項的判斷。

具體執行個體如下：

>>> import pandas as pd>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']}>>> frame=pd.DataFrame(data)>>> frame  pop  state0   a      11   b      12   c      23   d      2>>> IsDuplicated=frame.duplicated()>>> print IsDuplicated0    False1    False2    False3    Falsedtype: bool>>> frame=frame.drop_duplicates(['state'])>>> frame  pop  state0   a      12   c      2>>> IsDuplicated=frame.duplicated(['state'])>>> print IsDuplicated0    False2    Falsedtype: bool>>>