mysql - php根據相似性尋找重複資料怎麼實現？

有一個具有幾千條資料的表，資料庫用的mysql，想尋找一個演算法根據資料的相似性尋找重複的資料，並將其羅列出來，有能提供方法或思路的兄弟們歡迎來湊，先謝過了！

回複內容：

有一個具有幾千條資料的表，資料庫用的mysql，想尋找一個演算法根據資料的相似性尋找重複的資料，並將其羅列出來，有能提供方法或思路的兄弟們歡迎來湊，先謝過了！

1.首先，題主應該選一個相似性的計算維度，比如content欄位，type欄位等；
2.其次，題主考慮一下各個欄位的權重，比如type欄位必須相同，則讓type欄位使用typeWeight（例如賦值0.8）作為乘積的因子，而content欄位本身是比較長的，所以需要計算出一個hash值，比如使用md5計算出一個32位hash值，然後把這個hash值按照16進位計算得到10進位數，再給一個權重contentWeight（例如0.2），另外再選取一個欄位，比如description描述欄位，再給一個權重descriptionWeight...
3.最後得到一個當前插入到表中的記錄綜合hash，typeWeight(contentHashcontentWeight+descriptionHash*descriptionWeight +...),可能會涉及到大整數計算，不過PHP有BCMATH擴充可以使用，最終得到一個數值的綜合hash值，儲存到資料庫的一個欄位中，這個東西就可以理解為本條記錄的特徵值。

看你的需求,方法還是挺多而來,比如說2個字串的距離,如漢明距離。

