營運角度淺談MySQL資料庫最佳化

標籤：

轉自：http://lizhenliang.blog.51cto.com/7876557/1657465

一個成熟的資料庫結構描述並不是一開始設計就具備高可用、高伸縮等特性的，它是隨著使用者量的增加，基礎架構才逐漸完善。這篇博文主要談MySQL資料庫發展周期中所面臨的問題及最佳化方案，暫且拋開前端應用不說，大致分為以下五個階段：

1、資料庫表設計

  項目立項後，開發部根據產品部需求開發項目，開發工程師工作其中一部分就是對錶結構設計。對於資料庫來說，這點很重要，如果設計不當，會直接影響訪問速度和使用者體驗。影響的因素很多，比如慢查詢、低效的查詢語句、沒有適當建立索引、資料庫堵塞（死結）等。當然，有測試工程師的團隊，會做壓力測試，找bug。對於沒有測試工程師的團隊來說，大多數開發工程師初期不會太多考慮資料庫設計是否合理，而是儘快完成功能實現和轉交付，等項目有一定訪問量後，隱藏的問題就會暴露，這時再去修改就不是這麼容易的事了。

2、資料庫部署

  該營運工程師出場了，項目初期訪問量不會很大，所以單台部署足以應對在1500左右的QPS（每秒查詢率）。考慮到高可用性，可採用MySQL主從複製+Keepalived做雙擊熱備，常見叢集軟體有Keepalived、Heartbeat。

雙機熱備博文：http://lizhenliang.blog.51cto.com/7876557/1362313

3、資料庫效能最佳化

  如果將MySQL部署到普通的X86伺服器上，在不經過任何最佳化情況下，MySQL理論值正常可以處理2000左右QPS，經過最佳化後，有可能會提升到2500左右QPS，否則，訪問量當達到1500左右並發串連時，資料庫處理效能就會變慢，而且硬體資源還很富裕，這時就該考慮軟體問題了。那麼怎樣讓資料庫最大化發揮效能呢？一方面可以單台運行多個MySQL執行個體讓伺服器效能發揮到最大化，另一方面是對資料庫進行最佳化，往往作業系統和資料庫預設配置都比較保守，會對資料庫發揮有一定限制，可對這些配置進行適當的調整，儘可能的處理更多串連數。

具體最佳化有以下三個層面：

  3.1 資料庫配置最佳化

  MySQL常用有兩種儲存引擎，一個是MyISAM，不支援交易處理，讀效能處理快，表層級鎖。另一個是InnoDB，支援交易處理（ACID），設計目標是為處理大容量資料發揮最大化效能，行層級鎖。

  表鎖：開銷小，鎖定粒度大，發生死結機率高，相對並發也低。

  行鎖：開銷大，鎖定粒度小，發生死結機率低，相對並發也高。

  為什麼會出現表鎖和行鎖呢？主要是為了保證資料的完整性，舉個例子，一個使用者在操作一張表，其他使用者也想操作這張表，那麼就要等第一個使用者操作完，其他使用者才能操作，表鎖和行鎖就是這個作用。否則多個使用者同時操作一張表，肯定會資料產生衝突或者異常。

  根據以上看來，使用InnoDB儲存引擎是最好的選擇，也是MySQL5.5以後版本中預設儲存引擎。每個儲存引擎相關聯參數比較多，以下列出主要影響資料庫效能的參數。

  公用參數預設值：

12345678910

max_connections = 151#同時處理最大串連數，推薦設定最大串連數是上限串連數的80%左右   sort_buffer_size = 2M#查詢排序時緩衝區大小，只對order by和group by起作用，可增大此值為16Mquery_cache_limit = 1M  #查詢快取限制，只有1M以下查詢結果才會被緩衝，以免結果資料較大把緩衝池覆蓋query_cache_size = 16M  #查看緩衝區大小，用於緩衝SELECT查詢結果，下一次有同樣SELECT查詢將直接從緩衝池返回結果，可適當成倍增加此值open_files_limit = 1024 #開啟檔案數限制，如果show global status like ‘open_files‘查看的值等於或者大於open_files_limit值時，程式會無法串連資料庫或卡死

  MyISAM參數預設值：

1234	key_buffer_size = 16M#索引緩衝區大小，一般設定實體記憶體的30-40%read_buffer_size = 128K  #讀操作緩衝區大小，推薦設定16M或32M

  InnoDB參數預設值：

12345678910

innodb_buffer_pool_size = 128M#索引和資料緩衝區大小，一般設定實體記憶體的60%-70%innodb_buffer_pool_instances = 1    #緩衝池執行個體個數，推薦設定4個或8個innodb_flush_log_at_trx_commit = 1  #關鍵參數，0代表大約每秒寫入到日誌並同步到磁碟，資料庫故障會丟失1秒左右交易資料。1為每執行一條SQL後寫入到日誌並同步到磁碟，I/O開銷大，執行完SQL要等待日誌讀寫，效率低。2代表只把日誌寫入到系統緩衝區，再每秒同步到磁碟，效率很高，如果伺服器故障，才會丟失交易資料。對資料安全性要求不是很高的推薦設定2，效能高，修改後效果明顯。innodb_file_per_table = OFF  #預設是共用資料表空間，共用資料表空間idbdata檔案不斷增大，影響一定的I/O效能。推薦開啟獨立資料表空間模式，每個表的索引和資料都存在自己獨立的資料表空間中，可以實現單表在不同資料庫中移動。innodb_log_buffer_size = 8M  #日誌緩衝區大小，由於日誌最長每秒鐘重新整理一次，所以一般不用超過16M

  3.2 系統核心最佳化

  大多數MySQL都部署在linux系統上，所以作業系統的一些參數也會影響到MySQL效能，以下對linux核心進行適當最佳化。

12345678910

net.ipv4.tcp_fin_timeout = 30#TIME_WAIT逾時時間，預設是60snet.ipv4.tcp_tw_reuse = 1    #1表示開啟複用，允許TIME_WAIT socket重新用於新的TCP串連，0表示關閉net.ipv4.tcp_tw_recycle = 1  #1表示開啟TIME_WAIT socket快速回收，0表示關閉net.ipv4.tcp_max_tw_buckets = 4096   #系統保持TIME_WAIT socket最大數量，如果超出這個數，系統將隨機清除一些TIME_WAIT並列印警告資訊net.ipv4.tcp_max_syn_backlog = 4096#進入SYN隊列最大長度，加大隊列長度可容納更多的等待串連

  在linux系統中，如果進程開啟的檔案控制代碼數量超過系統預設值1024，就會提示“too many files open”資訊，所以要調整開啟檔案控制代碼限制。

1234	# vi /etc/security/limits.conf  #加入以下配置，*代表所有使用者，也可以指定使用者，重啟系統生效* soft nofile 65535* hard nofile 65535# ulimit -SHn 65535   #立刻生效

  3.3 硬體設定

  加大實體記憶體，提高檔案系統效能。linux核心會從記憶體中分配出緩衝區（系統緩衝和資料緩衝）來存放熱資料，通過檔案系統延遲寫入機制，等滿足條件時（如緩衝區大小到達一定百分比或者執行sync命令）才會同步到磁碟。也就是說實體記憶體越大，分配緩衝區越大，快取資料越多。當然，伺服器故障會丟失一定的快取資料。

  SSD硬碟代替SAS硬碟，將RAID層級調整為RAID1+0，相對於RAID1和RAID5有更好的讀寫效能（IOPS），畢竟資料庫的壓力主要來自磁碟I/O方面。

4、資料庫結構描述擴充

  隨著業務量越來越大，單台資料庫伺服器效能已無法滿足業務需求，該考慮加機器了，該做叢集了~~~。主要思想是分解單台資料庫負載，突破磁碟I/O效能，熱資料存放緩衝中，降低磁碟I/O訪問頻率。

  4.1 主從複製與讀寫分離

  因為生產環境中，資料庫大多都是讀操作，所以部署一主多從架構，主要資料庫負責寫操作，並做雙擊熱備，多台從資料庫做負載平衡，負責讀操作，主流的負載平衡器有LVS、HAProxy、Nginx。

  怎麼來實現讀寫分離呢？大多數企業是在代碼層面實現讀寫分離，效率比較高。另一個種方式通過代理程式實現讀寫分離，企業中應用較少，常見代理程式有MySQL Proxy、Amoeba。在這樣資料庫叢集架構中，大大增加資料庫高並發能力，解決單台效能瓶頸問題。如果從資料庫一台從庫能處理2000 QPS，那麼5台就能處理1w QPS，資料庫橫向擴充性也很容易。

  有時，面對大量寫操作的應用時，單台寫效能達不到業務需求。如果做雙主，就會遇到資料庫資料不一致現象，產生這個原因是在應用程式不同的使用者會有可能操作兩台資料庫，同時的更新操作造成兩台資料庫資料庫資料發生衝突或者不一致。在單庫時MySQL利用儲存引擎機製表鎖和行鎖來保證資料完整性，怎樣在多台主庫時解決這個問題呢？有一套基於perl語言開發的主從複製管理工具，叫MySQL-MMM（Master-Master replication managerfor Mysql，Mysql主主複製管理器），這個工具最大的優點是在同一時間只提供一台資料庫寫操作，有效保證資料一致性。

  主從複製博文：http://lizhenliang.blog.51cto.com/7876557/1290431

  讀寫分離博文：http://lizhenliang.blog.51cto.com/7876557/1305083

 MySQL-MMM博文：http://lizhenliang.blog.51cto.com/7876557/1354576

  4.2 增加緩衝

  給資料庫增加緩衝系統，把熱資料緩衝到記憶體中，如果緩衝中有要請求的資料就不再去資料庫中返回結果，提高讀效能。緩衝實現有本機快取和分布式緩衝，本機快取是將資料緩衝到本機伺服器記憶體中或者檔案中。分布式緩衝可以緩衝海量資料，擴充性好，主流的分布式緩衝系統有memcached、redis，memcached效能穩定，資料緩衝在記憶體中，速度很快，QPS可達8w左右。如果想資料持久化就選擇用redis，效能不低於memcached。

  工作過程：

  

  4.3 分庫

  分庫是根據業務不同把相關的表切分到不同的資料庫中，比如web、bbs、blog等庫。如果業務量很大，還可將切分後的庫做主從架構，進一步避免單個庫壓力過大。

  4.4 分表

  資料量的日劇增加，資料庫中某個表有幾百萬條資料，導致查詢和插入耗時太長，怎麼能解決單表壓力呢？你就該考慮是否把這個表拆分成多個小表，來減輕單個表的壓力，提高處理效率，此方式稱為分表。

  分表技術比較麻煩，要修改程式碼裡的SQL語句，還要手動去建立其他表，也可以用merge儲存引擎實現分表，相對簡單許多。分表後，程式是對一個總表進行操作，這個總表不存放資料，只有一些分表的關係，以及更新資料的方式，總表會根據不同的查詢，將壓力分到不同的小表上，因此提高並發能力和磁碟I/O效能。

  分表分為垂直分割和水平分割：

  垂直分割：把原來的一個很多欄位的表拆分多個表，解決表的寬度問題。你可以把不常用的欄位單獨放到一個表中，也可以把大欄位獨立放一個表中，或者把關聯密切的欄位放一個表中。

  水平分割：把原來一個表拆分成多個表，每個表的結構都一樣，解決單表資料量大的問題。

  4.5 分區

  分區就是把一張表的資料根據表結構中的欄位（如range、list、hash等）分成多個區塊，這些區塊可以在一個磁碟上，也可以在不同的磁碟上，分區後，表面上還是一張表，但資料散列在多個位置，這樣一來，多塊硬碟同時處理不同的請求，從而提高磁碟I/O讀寫效能，實現比較簡單。

註：增加緩衝、分庫、分表和分區主要由程式猿來實現。

5、資料庫維護

  資料庫維護是營運工程師或者DBA主要工作，包括效能監控、效能分析、效能調優、Database Backup和恢複等。

  5.1 效能狀態關鍵計量

  QPS，Queries Per Second：每秒查詢數，一台資料庫每秒能夠處理的查詢次數

  TPS，Transactions Per Second：每秒處理事務數

  通過show status查看運行狀態，會有300多條狀態資訊記錄，其中有幾個值幫可以我們計算出QPS和TPS，如下：

  Uptime：伺服器已經啟動並執行實際，單位秒

  Questions：已經發送給資料庫查詢數

  Com_select：查詢次數，實際操作資料庫的

  Com_insert：插入次數

  Com_delete：刪除次數

  Com_update：更新次數

  Com_commit：事務次數

  Com_rollback：復原次數

  那麼，計算方法來了，基於Questions計算出QPS：

12	mysql> show global status like ‘Questions‘;  mysql> show global status like ‘Uptime‘;

  QPS = Questions / Uptime

  基於Com_commit和Com_rollback計算出TPS：

123	mysql> show global status like ‘Com_commit‘;  mysql> show global status like ‘Com_rollback‘;  mysql> show global status like ‘Uptime‘;

  TPS = (Com_commit + Com_rollback) / Uptime

  另一計算方式：基於Com_select、Com_insert、Com_delete、Com_update計算出QPS

1	mysql> show global status where Variable_name in(‘com_select‘,‘com_insert‘,‘com_delete‘,‘com_update‘);

  等待1秒再執行，擷取間隔差值，第二次每個變數值減去第一次對應的變數值，就是QPS

  TPS計算方法：

1	mysql> show global status where Variable_name in(‘com_insert‘,‘com_delete‘,‘com_update‘);

  計算TPS，就不算查詢操作了，計算出插入、刪除、更新四個值即可。

  經網友對這兩個計算方式的測試得出，當資料庫中myisam表比較多時，使用Questions計算比較準確。當資料庫中innodb表比較多時，則以Com_*計算比較準確。

  5.2 開啟慢查詢日誌

  MySQL開啟慢查詢日誌，分析出哪條SQL語句比較慢，使用set設定變數，重啟服務失效，可以在my.cnf添加參數永久生效。

1234	mysql> set global slow-query-log=on  #開啟慢查詢功能mysql> set global slow_query_log_file=‘/var/log/mysql/mysql-slow.log‘;  #指定慢查詢記錄檔位置mysql> set global log_queries_not_using_indexes=on;   #記錄沒有使用索引的查詢mysql> set global long_query_time=1;   #只記錄處理時間1s以上的慢查詢

  分析慢查詢日誌，可以使用MySQL內建的mysqldumpslow工具，分析的日誌較為簡單。

  # mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log    #查看最慢的前三個查詢

  也可以使用percona公司的pt-query-digest工具，日誌分析功能全面，可分析slow log、binlog、general log。

  分析慢查詢日誌：pt-query-digest /var/log/mysql/mysql-slow.log

  分析binlog日誌：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql 

  pt-query-digest --type=binlog mysql-bin.000001.sql 

  分析普通日誌：pt-query-digest --type=genlog localhost.log

  5.3 Database Backup

  備份資料庫是最基本的工作，也是最重要的，否則後果很嚴重，你懂得！但由於資料庫比較大，上百G，往往備份都很耗費時間，所以就該選擇一個效率高的備份策略，對於資料量大的資料庫，一般都採用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比較適用於小的資料庫，因為是邏輯備份，所以備份和恢複耗時都比較長。mysqlhotcopy和xtrabackup是物理備份，備份和恢複速度快，不影響資料庫服務情況下進行熱拷貝，建議使用xtrabackup，支援增量備份。

  Xtrabackup備份工具使用博文：http://lizhenliang.blog.51cto.com/7876557/1612800

  5.4 資料庫修複

  有時候MySQL伺服器突然斷電、異常關閉，會導致表損壞，無法讀取表資料。這時就可以用到MySQL內建的兩個工具進行修複，myisamchk和mysqlcheck。

  myisamchk：只能修複myisam表，需要停止資料庫

  常用參數：

  -f --force    強制修複，覆蓋老的臨時檔案，一般不使用

  -r --recover  復原模式

  -q --quik     快速恢複

  -a --analyze  分析表

  -o --safe-recover 老的復原模式，如果-r無法修複，可以使用此參數試試

  -F --fast     只檢查沒有正常關閉的表

  快速修複weibo資料庫:

  # cd /var/lib/mysql/weibo 

  # myisamchk -r -q *.MYI

  mysqlcheck：myisam和innodb表都可以用，不需要停止資料庫，如修複單個表，可在資料庫後面添加表名，以空格分割

  常用參數：

  -a  --all-databases  檢查所有的庫

  -r  --repair   修複表

  -c  --check    檢查表，預設選項

  -a  --analyze  分析表

  -o  --optimize 最佳化表

  -q  --quik   最快檢查或修複表

  -F  --fast   只檢查沒有正常關閉的表

  快速修複weibo資料庫:

  mysqlcheck -r -q -uroot -p123 weibo 

  5.5 另外，查看CPU和I/O效能方法

  #查看CPU效能

  #參數-P是顯示CPU數，ALL為所有，也可以只顯示第幾顆CPU

  #查看I/O效能

 

  #參數-m是以M單位顯示，預設K

  #%util：當達到100%時，說明I/O很忙。

  #await：請求在隊列中等待時間，直接影響read時間。

  I/O極限：IOPS（r/s+w/s）,一般RAID0/10在1200左右。（IOPS，每秒進行讀寫（I/O）操作次數）

  I/O頻寬：在順序讀寫入模式下SAS硬碟理論值在300M/s左右，SSD硬碟理論值在600M/s左右。

 

  以上是本人使用MySQL三年來總結的一些主要最佳化方案，能力有限，有些不太全面，但這些基本能夠滿足中小型企業資料庫需求。

  由於關係型資料庫初衷設計限制，一些BAT公司海量資料放到關係型資料庫中，在海量資料查詢和分析方面已經達不到更好的效能。因此NoSQL火起來了，非關係型資料庫，大資料量，具有高效能，同時也彌補了關係型資料庫某方面不足，漸漸大多數公司已經將部分業務資料庫存放到NoSQL中，如MongoDB、HBase等。資料存放區方面採用Distributed File System，如HDFS、GFS等。海量資料計算分析採用Hadoop、Spark、Storm等。這些都是與營運相關的前沿技術，也是在儲存方面主要學習對象，小夥伴們共同加油吧！哪位博友有更好的最佳化方案，歡迎交流哦。

（轉）營運角度淺談MySQL資料庫最佳化