【MySQL】 已經存在大量資料的表做分區

標籤：mysql 分區

環境：

  資料庫版本:5.6

  系統內容:CentOS 6.8

複製架構:

需求:

  需要將執行個體C上面一個2500萬行資料的Innodb引擎的表table進行分區,但是在執行個體A上面表table不做任何的修改。

思考的問題：

  在執行個體C上面的表table做分區,分區之後會不會影響執行個體A和執行個體C之間表table的傳輸,會不會造成資料不一致或者插入失敗,或者分區之後插入的資料會比較慢。

實際操作：都是在執行個體C上面的操作

  1. stop slave IO_THREAD 停掉IO_THREAD並且等待執行個體C重放relay log完畢。

    Master_Log_File == Relay_Master_Log_File and  Read_Master_Log_Pos == Exec_Master_Log_Pos 當這倆個運算式成立的時候表明本地的relay log已經重做完畢。

  2.邏輯備份表table的資料:

 mysqldump -S /var/lib/mysql/mysql.sock -uroot -p --single-transaction --master-data=2 -t --skip-add-drop-table sbtest sbtest1 > sbtest1.sql 參數解釋: -t:不建立table --skip-add-drop-table:不做drop table操作

    在備份的時候不需要drop table 和 create table操作寫入備份的SQL語句中

  3.更改表名

    更改舊錶的表名 rename table sbtest1 to sbtest2; 這樣做的目的是為了在做備份匯入的時候不需要更改備份SQL語句,並且萬一分區失敗或者其他的原因至少也有表的備份存在。

  4.建立空表並且進行分區:

CREATE TABLE `sbtest1` (  `id` bigint(20) NOT NULL AUTO_INCREMENT,  `k` bigint(20) NOT NULL,  `c` varchar(20) NOT NULL,  `pad` varchar(50) COLLATE utf8mb4_bin NOT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB  DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin PARTITION BY KEY (id) PARTITIONS 64

  新表的表結構要和舊錶的表結構一致,唯一不同就是提前分好區。

  5.匯入邏輯備份語句

mysql -uroot -p sbtest < sbtest1.sql

  6.匯入完畢之後開啟slave並且觀察一段時間

start slave IO_THREAD

  7.pt-table-checksum資料一致性檢測(可做可不做)

    http://seanlook.com/2015/12/29/mysql_replica_pt-table-checksum/

  8.建議:

    因為2500萬行的資料的備份會花費比較長的時間,所以在備份的時候建議使用screen,那怕在你遠程回話斷開之後進程還是存在的。

【MySQL】 已經存在大量資料的表做分區