mysql 處理重複資料

標籤：使用   strong   io   資料   ar   資料庫   sql   mysql   

MySQL 處理重複資料

有些 MySQL 資料表中可能存在重複的記錄，有些情況我們允許重複資料的存在，但有時候我們也需要刪除這些重複的資料。

本章節我們將為大家介紹如何防止資料表出現重複資料及如何刪除資料表中的重複資料。

防止表中出現重複資料

你可以在MySQL資料表中設定指定的欄位為 PRIMARY KEY（主鍵） 或者 UNIQUE（唯一） 索引來保證資料的唯一性。

讓我們嘗試一個執行個體：下表中無索引及主鍵，所以該表允許出現多條重複記錄。

CREATE TABLE person_tbl(    first_name CHAR(20),    last_name CHAR(20),    sex CHAR(10));

如果你想設定表中欄位first_name，last_name資料不能重複，你可以設定雙主鍵模式來設定資料的唯一性， 如果你設定了雙主鍵，那麼那個鍵的預設值不能為NULL，可設定為NOT NULL。如下所示：

CREATE TABLE person_tbl(   first_name CHAR(20) NOT NULL,   last_name CHAR(20) NOT NULL,   sex CHAR(10),   PRIMARY KEY (last_name, first_name));

如果我們設定了唯一索引，那麼在插入重複資料時，SQL語句將無法執行成功,並拋出錯。

INSERT IGNORE INTO與INSERT INTO的區別就是INSERT IGNORE會忽略資料庫中已經存在的資料，如果資料庫沒有資料，就插入新的資料，如果有資料的話就跳過這條資料。這樣就可以保留資料庫中已經存在資料， 達到在間隙中插入資料的目的。

以下執行個體使用了INSERT IGNORE INTO，執行後不會出錯，也不會向資料表中插入重複資料：

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)    -> VALUES( ‘Jay‘, ‘Thomas‘);Query OK, 1 row affected (0.00 sec)mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)    -> VALUES( ‘Jay‘, ‘Thomas‘);Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO當插入資料時，在設定了記錄的唯一性後，如果插入重複資料，將不返回錯誤，只以警告形式返回。 而REPLACE INTO into如果存在primary 或 unique相同的記錄，則先刪除掉。再插入新記錄。

另一種設定資料的唯一性方法是添加一個UNIQUE索引，如下所示：

CREATE TABLE person_tbl(   first_name CHAR(20) NOT NULL,   last_name CHAR(20) NOT NULL,   sex CHAR(10)   UNIQUE (last_name, first_name));

統計重複資料

以下我們將統計表中 first_name 和 last_name的重複記錄數：

mysql> SELECT COUNT(*) as repetitions, last_name, first_name    -> FROM person_tbl    -> GROUP BY last_name, first_name    -> HAVING repetitions > 1;

以上查詢語句將返回 person_tbl 表中重複的記錄數。 一般情況下，查詢重複的值，請執行以下操作：

• 確定哪一列包含的值可能會重複。
• 在列挑選清單使用COUNT(*)列出的那些列。
• 在GROUP BY子句中列出的列。
• HAVING子句設定重複數大於1。

過濾重複資料

如果你需要讀取不重複的資料可以在 SELECT 語句中使用 DISTINCT 關鍵字來過濾重複資料。

mysql> SELECT DISTINCT last_name, first_name    -> FROM person_tbl    -> ORDER BY last_name;

你也可以使用 GROUP BY 來讀取資料表中不重複的資料：

mysql> SELECT last_name, first_name    -> FROM person_tbl    -> GROUP BY (last_name, first_name);

重複資料刪除資料

如果你想刪除資料表中的重複資料，你可以使用以下的SQL語句：

mysql> CREATE TABLE tmp SELECT last_name, first_name, sex    ->                  FROM person_tbl;    ->                  GROUP BY (last_name, first_name);mysql> DROP TABLE person_tbl;mysql> ALTER TABLE tmp RENAME TO person_tbl;

當然你也可以在資料表中添加 INDEX（索引） 和 PRIMAY KEY（主鍵）這種簡單的方法來刪除表中的重複記錄。方法如下：

mysql> ALTER IGNORE TABLE person_tbl    -> ADD PRIMARY KEY (last_name, first_name);