Oracle資料庫中去除重複資料

 　　在平時的開發中，我們經常遇到資料表中出現重複的資料，那麼該如何解決呢?這裡介紹兩種情況下的資料去重方法，一、完全重複資料去重;二、部分欄位資料重複去重。

　　一、完全重複資料去重方法

　　對於表中完全重複資料去重，可以採用以下SQL語句。

　　Code

　　CREATETABLE"#temp"AS (SELECTDISTINCT * FROM 表名);--建立暫存資料表，並把DISTINCT 去重後的資料插入到暫存資料表中

　　truncateTABLE 表名;--清空原表資料

　　INSERTINTO 表名(SELECT * FROM"#temp");--將暫存資料表資料插入到原表中

　　DROPTABLE"#temp";--刪除暫存資料表

　　具體思路是，首先建立一個暫存資料表，然後將DISTINCT之後的表資料插入到這個暫存資料表中;然後清空原表資料;再講暫存資料表中的資料插入到原表中;最後刪除暫存資料表。

　　二、部分資料去重方法

　　首先尋找重複資料

　　select 欄位1,欄位2,count(*) from 表名 groupby 欄位1,欄位2 havingcount(*) > 1

　　將上面的>號改為=號就可以查詢出沒有重複的資料了。

　　想要刪除這些重複的資料，可以使用下面語句進行刪除：

　　deletefrom 表名 a where 欄位1,欄位2 in

　　(select 欄位1,欄位2,count(*) from 表名 groupby 欄位1,欄位2 havingcount(*) > 1)

　　上面的語句非常簡單，就是將查詢到的資料刪除掉。不過這種刪除執行的效率非常低，對於大資料量來說，可能會將資料庫卡死。

　　基於上述情況，可以先將查詢到的重複的資料插入到一個暫存資料表中，然後對進行刪除，這樣，執行刪除的時候就不用再進行一次查詢了。如下：

　　CREATETABLE 暫存資料表 AS

　　(select 欄位1,欄位2,count(*) from 表名 groupby 欄位1,欄位2 havingcount(*) > 1)

　　下面就可以進行這樣的刪除操作了：

　　deletefrom 表名 a where 欄位1,欄位2 in (select 欄位1，欄位2 from 暫存資料表);

　　先建暫存資料表再進行刪除的操作要比直接用一條語句進行刪除要高效得多。

　　上面的語句會把所有重複的全都刪除，在oracle中，有個隱藏了自動rowid，裡面給每條記錄一個唯一的rowid，我們如果想保留最新的一條記錄，我們就可以利用這個欄位，保留重複資料中rowid最大的一條記錄就可以了。

　　下面是查詢重複資料的一個例子：

　　select a.rowid,a.* from 表名 a

　　where a.rowid !=

　　(

　　selectmax(b.rowid) from 表名 b

　　where a.欄位1 = b.欄位1 and

　　a.欄位2 = b.欄位2

　　)

　　上面括弧中的語句是查詢出重複資料中rowid最大的一條記錄。而外面就是查詢出除了rowid最大之外的其他重複的資料了。

　　由此，我們要重複資料刪除資料，只保留最新的一條資料，就可以這樣寫了：

　　deletefrom 表名 a

　　where a.rowid !=

　　(

　　selectmax(b.rowid) from 表名 b

　　where a.欄位1 = b.欄位1 and

　　a.欄位2 = b.欄位2

　　)

　　同理，上述代碼的執行效率畢竟低，所以我們可以考慮建立暫存資料表，將需要判斷重複的欄位、rowid插入暫存資料表中，然後刪除的時候在進行比較。

　　createtable 暫存資料表 as

　　select a.欄位1,a.欄位2,MAX(a.ROWID) dataid from 正式表 a GROUPBY a.欄位1,a.欄位2;

　　deletefrom 表名 a

　　where a.rowid !=

　　(

　　select b.dataid from 暫存資料表 b

　　where a.欄位1 = b.欄位1 and

　　a.欄位2 = b.欄位2

　　);

　　commit;