mySQL 查詢重複 去除重複等等

標籤：mysql   刪除   sel   count   clipboard   boa   問題   補充   net   

尋找所有重複標題的記錄：

 

[sql] view plain copy 

1. SELECT * FROM t_info a WHERE ((SELECT COUNT(*) FROM t_info WHERE Title = a.Title) > 1) ORDER BY Title DESC  

 

一、尋找重複記錄1、尋找全部重複記錄

 

[plain] view plain copy 

1. Select * From 表 Where 重複欄位 In (Select 重複欄位 From 表 Group By 重複欄位 Having Count(*)>1)  

 

2、過濾重複記錄(只顯示一條)

 

[plain] view plain copy 

1. Select * From HZT Where ID In (Select Max(ID) From HZT Group By Title)  

註：此處顯示ID最大一條記錄

 

二、重複資料刪除記錄

1、刪除全部重複記錄（慎用）

 

[plain] view plain copy 

1. Delete 表 Where 重複欄位 In (Select 重複欄位 From 表 Group By 重複欄位 Having Count(*)>1)  

 

2、保留一條（這個應該是大多數人所需要的 ^_^）

 

[sql] view plain copy 

1. Delete HZT Where ID Not In (Select Max(ID) From HZT Group By Title)  

註：此處保留ID最大一條記錄

 

三、舉例

1、尋找表中多餘的重複記錄，重複記錄是根據單個欄位（peopleId）來判斷

 

[sql] view plain copy 

1. select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)  

2、刪除表中多餘的重複記錄，重複記錄是根據單個欄位（peopleId）來判斷，只留有rowid最小的記錄
[sql] view plain copy 

1. delete from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)  

3、尋找表中多餘的重複記錄（多個欄位）
[sql] view plain copy 

1. select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)  

 

4、刪除表中多餘的重複記錄（多個欄位），只留有rowid最小的記錄 [sql] view plain copy 

1. delete from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)  

5、尋找表中多餘的重複記錄（多個欄位），不包含rowid最小的記錄

 

 

[plain] view plain copy 

1. select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)  

 

四、補充

有兩個以上的重複記錄，一是完全重複的記錄，也即所有欄位均重複的記錄，二是部分關鍵字段重複的記錄，比如Name欄位重複，而其他欄位不一定重複或都重複可以忽略。
1、對於第一種重複，比較容易解決，使用

 

[sql] view plain copy 

1. select distinct * from tableName  

就可以得到無重複記錄的結果集。
如果該表需要重複資料刪除的記錄（重複記錄保留1條），可以按以下方法刪除 
[sql] view plain copy 

1. select distinct * into #Tmp from tableName  
2. drop table tableName  
3. select * into tableName from #Tmp  
4. drop table #Tmp  

發生這種重複的原因是表設計不周產生的，增加唯一索引列即可解決。
2、這類重複問題通常要求保留重複記錄中的第一條記錄，操作方法如下
假設有重複的欄位為Name,Address，要求得到這兩個欄位唯一的結果集
[sql] view plain copy 

1. select identity(int,1,1) as autoID, * into #Tmp from tableName  
2. select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID  
3. select * from #Tmp where autoID in(select autoID from #tmp2)  

 

mySQL 查詢重複 去除重複等等