MySQL資料庫分表的3種方法【轉】

標籤：io   ar   使用   sp   檔案   資料   on   問題   cti   

一，先說一下為什麼要分表

當一張的資料達到幾百萬時，你查詢一次所花的時間會變多，如果有聯集查詢的話，我想有可能會死在那兒了。分表的目的就在於此，減小資料庫的負擔，縮短查詢時間。

根據個人經驗，mysql執行一個sql的過程如下：
1,接收到sql;2,把sql放到排隊隊列中 ;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什麼地方呢？第一，是排隊等待的時間，第二，sql的執行時間。其實這二個是一回事，等待的同時，肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定，為什麼要出現這種機制，是為了保證資料的完整性，我舉個例子來說吧，如果有二個sql都要修改同一張表的同一條資料，這個時候怎麼辦呢，是不是二個sql都可以同時修改這條資料呢？很顯然mysql對這種情況的處理是，一種是表鎖定（myisam儲存引擎），一個是行鎖定（innodb儲存引擎）。表鎖定表示你們都不能對這張表進行操作，必須等我對錶操作完才行。行鎖定也一樣，別的sql必須等我對這條資料操作完了，才能對這條資料進行操作。如果資料太多，一次執行的時間太長，等待的時間就越長，這也是我們為什麼要分表的原因。

二，分表

1，做mysql叢集，例如：利用mysql cluster ，mysql proxy，mysql replication，drdb等等

有人會問mysql叢集，根分表有什麼關係嗎？雖然它不是實際意義上的分表，但是它啟到了分表的作用，做叢集的意義是什麼呢？為一個資料庫減輕負擔，說白了就是減少sql排隊隊列中的sql的數量，舉個例子：有10個sql請求，如果放在一個資料庫伺服器的排隊隊列中，他要等很長時間，如果把這10個sql請求，分配到5個資料庫伺服器的排隊隊列中，一個資料庫伺服器的隊列中只有2個，這樣等待時間是不是大大的縮短了呢？這已經很明顯了。所以我把它列到了分表的範圍以內，我做過一些mysql的叢集：

linux mysql proxy 的安裝，配置，以及讀寫分離

mysql replication 互為主從的安裝及配置，以及資料同步

優點：擴充性好，沒有多個分表後的複雜操作（php代碼）

缺點：單個表的資料量還是沒有變，一次操作所花的時間還是那麼多，硬體開銷大。

2，預先估計會出現大資料量並且訪問頻繁的表，將其分為若干個表

這種預估大差不差的，論壇裡面發表文章的表，時間長了這張表肯定很大，幾十萬，幾百萬都有可能。 聊天室裡面資訊表，幾十個人在一起一聊一個晚上，時間長了，這張表的資料肯定很大。像這樣的情況很多。所以這種能預估出來的大資料量表，我們就事先分出個 N個表，這個N是多少，根據實際情況而定。以聊天資訊表為例：

我事先建100個這樣的表，message_00,message_01,message_02……….message_98,message_99.然後根據使用者的ID來判斷這個使用者的聊天資訊放到哪張表裡面，你可以用hash的方式來獲得，可以用求餘的方式來獲得，方法很多，各人想各人的吧。下面用hash的方法來獲得表名：

查看複製列印?
<?php   
function get_hash_table($table,$userid) {   
$str = crc32($userid);   
if($str<0){   
$hash = "0".substr(abs($str), 0, 1);   
}else{   
$hash = substr($str, 0, 2);   
}   
  
return $table."_".$hash;   
}   
  
echo get_hash_table(‘message‘,‘user18991‘);     //結果為message_10   
echo get_hash_table(‘message‘,‘user34523‘);    //結果為message_13   
?>  

<?php function get_hash_table($table,$userid) {  $str = crc32($userid);  if($str<0){  $hash = "0".substr(abs($str), 0, 1);  }else{  $hash = substr($str, 0, 2);  }   return $table."_".$hash; }  echo get_hash_table(‘message‘,‘user18991‘);     //結果為message_10 echo get_hash_table(‘message‘,‘user34523‘);    //結果為message_13 ?>

說明一下，上面的這個方法，告訴我們user18991這個使用者的訊息都記錄在message_10這張表裡，user34523這個使用者的訊息都記錄在message_13這張表裡，讀取的時候，只要從各自的表中讀取就行了。

優點：避免一張表出現幾百萬條資料，縮短了一條sql的執行時間

缺點：當一種規則確定時，打破這條規則會很麻煩，上面的例子中我用的hash演算法是crc32，如果我現在不想用這個演算法了，改用md5後，會使同一個使用者的訊息被儲存到不同的表中，這樣資料亂套了。擴充性很差。

3，利用merge儲存引擎來實現分表

我覺得這種方法比較適合，那些沒有事先考慮，而已經出現了得，資料查詢慢的情況。這個時候如果要把已有的大資料量表分開比較痛苦，最痛苦的事就是改代碼，因為程式裡面的sql語句已經寫好了，現在一張表要分成幾十張表，甚至上百張表，這樣sql 語句是不是要重寫呢？舉個例子，我很喜歡舉子

mysql>show engines;的時候你會發現mrg_myisam其實就是merge。

查看複製列印?
mysql> CREATE TABLE IF NOT EXISTS `user1` (   
->   `id` int(11) NOT NULL AUTO_INCREMENT,   
->   `name` varchar(50) DEFAULT NULL,   
->   `sex` int(1) NOT NULL DEFAULT ‘0‘,   
->   PRIMARY KEY (`id`)   
-> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;   
Query OK, 0 rows affected (0.05 sec)   
  
mysql> CREATE TABLE IF NOT EXISTS `user2` (   
->   `id` int(11) NOT NULL AUTO_INCREMENT,   
->   `name` varchar(50) DEFAULT NULL,   
->   `sex` int(1) NOT NULL DEFAULT ‘0‘,   
->   PRIMARY KEY (`id`)   
-> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;   
Query OK, 0 rows affected (0.01 sec)   
  
mysql> INSERT INTO `user1` (`name`, `sex`) VALUES(‘張映‘, 0);   
Query OK, 1 row affected (0.00 sec)   
  
mysql> INSERT INTO `user2` (`name`, `sex`) VALUES(‘tank‘, 1);   
Query OK, 1 row affected (0.00 sec)   
  
mysql> CREATE TABLE IF NOT EXISTS `alluser` (   
->   `id` int(11) NOT NULL AUTO_INCREMENT,   
->   `name` varchar(50) DEFAULT NULL,   
->   `sex` int(1) NOT NULL DEFAULT ‘0‘,   
->   INDEX(id)   
-> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;   
Query OK, 0 rows affected, 1 warning (0.00 sec)   
  
mysql> select id,name,sex from alluser;   
+----+--------+-----+   
| id | name   | sex |   
+----+--------+-----+   
|  1 | 張映 |   0 |   
|  1 | tank   |   1 |   
+----+--------+-----+   
2 rows in set (0.00 sec)   
  
mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES(‘tank2‘, 0);   
Query OK, 1 row affected (0.00 sec)   
  
mysql> select id,name,sex from user2   
-> ;   
+----+-------+-----+   
| id | name  | sex |   
+----+-------+-----+   
|  1 | tank  |   1 |   
|  2 | tank2 |   0 |   
+----+-------+-----+   
2 rows in set (0.00 sec)  

mysql> CREATE TABLE IF NOT EXISTS `user1` (  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  ->   `name` varchar(50) DEFAULT NULL,  ->   `sex` int(1) NOT NULL DEFAULT ‘0‘,  ->   PRIMARY KEY (`id`)  -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.05 sec)  mysql> CREATE TABLE IF NOT EXISTS `user2` (  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  ->   `name` varchar(50) DEFAULT NULL,  ->   `sex` int(1) NOT NULL DEFAULT ‘0‘,  ->   PRIMARY KEY (`id`)  -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; Query OK, 0 rows affected (0.01 sec)  mysql> INSERT INTO `user1` (`name`, `sex`) VALUES(‘張映‘, 0); Query OK, 1 row affected (0.00 sec)  mysql> INSERT INTO `user2` (`name`, `sex`) VALUES(‘tank‘, 1); Query OK, 1 row affected (0.00 sec)  mysql> CREATE TABLE IF NOT EXISTS `alluser` (  ->   `id` int(11) NOT NULL AUTO_INCREMENT,  ->   `name` varchar(50) DEFAULT NULL,  ->   `sex` int(1) NOT NULL DEFAULT ‘0‘,  ->   INDEX(id)  -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ; Query OK, 0 rows affected, 1 warning (0.00 sec)  mysql> select id,name,sex from alluser; +----+--------+-----+ | id | name   | sex | +----+--------+-----+ |  1 | 張映 |   0 | |  1 | tank   |   1 | +----+--------+-----+ 2 rows in set (0.00 sec)  mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES(‘tank2‘, 0); Query OK, 1 row affected (0.00 sec)  mysql> select id,name,sex from user2  -> ; +----+-------+-----+ | id | name  | sex | +----+-------+-----+ |  1 | tank  |   1 | |  2 | tank2 |   0 | +----+-------+-----+ 2 rows in set (0.00 sec)

從上面的操作中，我不知道你有沒有發現點什嗎？假如我有一張使用者表user，有50W條資料，現在要拆成二張表user1和user2，每張表25W條資料，

INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000

INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id > 250000

這樣我就成功的將一張user表，分成了二個表，這個時候有一個問題，代碼中的sql語句怎麼辦，以前是一張表，現在變成二張表了，代碼改動很大，這樣給程式員帶來了很大的工作量，有沒有好的辦法解決這一點呢？辦法是把以前的user表備份一下，然後刪除掉，上面的操作中我建立了一個alluser表，只把這個alluser表的表名改成user就行了。但是，不是所有的mysql操作都能用的

a，如果你使用 alter table 來把 merge 表變為其它表類型，到底層表的映射就被丟失了。取而代之的，來自底層 myisam 表的行被複製到已更換的表中，該表隨後被指定新類型。

b，網上看到一些說replace不起作用，我試了一下可以起作用的。暈一個先

mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2;   
Query OK, 1 row affected (0.00 sec)   
Rows matched: 1  Changed: 1  Warnings: 0   
  
mysql> select * from alluser;   
+----+--------+-----+   
| id | name   | sex |   
+----+--------+-----+   
|  1 | 張映 |   0 |   
|  1 | tank   |   1 |   
|  2 | tank2  |   1 |   
+----+--------+-----+   
3 rows in set (0.00 sec)  

mysql> UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2; Query OK, 1 row affected (0.00 sec) Rows matched: 1  Changed: 1  Warnings: 0  mysql> select * from alluser; +----+--------+-----+ | id | name   | sex | +----+--------+-----+ |  1 | 張映 |   0 | |  1 | tank   |   1 | |  2 | tank2  |  1 | +----+--------+-----+ 3 rows in set (0.00 sec)

c，一個 merge 表不能在整個表上維持 unique 約束。當你執行一個 insert，資料進入第一個或者最後一個 myisam 表（取決於 insert_method 選項的值）。mysql 確保唯一索引值在那個 myisam 表裡保持唯一，但不是跨集合裡所有的表。

d,當你建立一個 merge 表之時，沒有檢查去確保底層表的存在以及有相同的機構。當 merge 表被使用之時，mysql 檢查每個被映射的表的記錄長度是否相等，但這並不十分可靠。如果你從不相似的 myisam 表建立一個 merge 表，你非常有可能撞見奇怪的問題。

好睏睡覺了，c和d在網上看到的，沒有測試，大家試一下吧。

優點：擴充性好，並且程式碼改動的不是很大

缺點：這種方法的效果比第二種要差一點

三，總結一下

上面提到的三種方法，我實際做過二種，第一種和第二種。第三種沒有做過，所以說的細一點。哈哈。做什麼事都有一個度，超過個度就過變得很差，不能一味的做資料庫伺服器叢集，硬體是要花錢買的，也不要一味的分表，分出來1000表，mysql的儲存歸根到底還以檔案的形勢存在硬碟上面，一張表對應三個檔案，1000個分表就是對應3000個檔案，這樣檢索起來也會變的很慢。我的建議是

方法1和方法2結合的方式來進行分表

方法1和方法3結合的方式來進行分表

我的二個建議適合不同的情況，根據個人情況而定，我覺得會有很多人選擇方法1和方法3結合的方式

MySQL資料庫分表的3種方法【轉】