[MySQL Help]答朋友問:5000W記錄的Innodb表如何快速的去重複資料

來源:互聯網
上載者:User

朋友問: 
5000萬資料的一張表,怎麼去重快,根據兩個欄位判斷是否重複。
  
  

回複之:
把2個欄位以及主鍵id select 出來建立一張暫存資料表t1,
t1建立好主鍵索引以及2個對比的欄位聯合索引。
  
然後在暫存資料表裡面 比對重複的記錄,
把重複的記錄錄入第二張暫存資料表t2,t2表結構和t1一模一樣。
   
然後根據你的業務來決定如何處理t2表裡面的重複記錄,用t2關聯原來的5000W記錄的表來進行處理,
大概通常的是group by2個欄位,取出主鍵id較大的值的記錄刪除掉。

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.