MySQL中介軟體之ProxySQL(5)：線程、線程池、串連池

標籤：cep   引導   進入   計算   dmi   檢查   ssi   free   replica   

1.ProxySQL的線程

ProxySQL由多個模組組成，是一個多線程的daemon類程式。每個模組都有一個或多個線程去執行任務。

例如，以下是剛啟動ProxySQL時的進程情況，一個main進程，一個主線程，21個線程。

[[email protected] ~]# pstree | grep proxy            |-proxysql---proxysql---21*[{proxysql}]

下面是正常運行時使用的線程列表：

1.1 Main thread

這其實是一個進程，該進程只負責引導、啟動核心模組以及啟動其它核心線程。

1.2 Admin thread

該線程負責以下幾件事：

• 初始化並引導啟動Admin介面。
  
• 從磁碟資料庫或設定檔中載入配置，為ProxySQL的運行提供環境。
  
• 啟動一個監聽者，讓其負責監聽並接受到Admin介面的新串連，並為每個這樣的串連建立一個新線程。

所以，每串連一次admin介面，就會新產生一個線程。每次退出admin介面時，減去一個線程。

1.3 MySQL workers

mysql-threads線程負責處理MySQL流量，包括所有來自用戶端的串連以及所有到後端伺服器節點的串連。也就是：用少量線程處理任意多數量的串連。

MySQL workers線程在相同的連接埠上進行監聽。當新用戶端發起串連請求，其中一個MySQL worker線程將成功接受該串連，並建立一個MySQL會話(session)：用戶端和會話綁定在該worker線程上，直到串連斷開。換句話說，在中斷連線之前，某用戶端的所有串連總是被同一個worker線程處理。

預設情況下，MySQL worker的線程數量為4。

mysql> select @@mysql-threads;+-----------------+| @@mysql-threads |+-----------------+| 4               |+-----------------+

mysql-threads變數修改後，必須重啟ProxySQL才會生效，這是少有的需要重啟的變數之一(另一個是mysql-stacksize)。例如，修改為8個mysql worker線程。

set mysql-threads=8;save mysql variables to disk;select * from runtime_global_variables  where variable_name='mysql-threads';+---------------+----------------+| variable_name | variable_value |+---------------+----------------+| mysql-threads | 4              |+---------------+----------------+service proxysql stopservice proxysql startselect * from runtime_global_variables  where variable_name='mysql-threads';+---------------+----------------+| variable_name | variable_value |+---------------+----------------+| mysql-threads | 8              |+---------------+----------------+

1.4 MySQL auxiliary threads

這些線程其實就是空閑線程(idle threads)。

如果proxysql使用--idle-threads選項啟動，每個worker線程都會伴隨啟動一個auxiliary線程。每個worker線程以及它的auxiliary線程一起工作：第一個線程處理活動的串連，並將所有的空閑串連派遣到第二個線程上，但第二個線程只要等待到了發生在空閑串連上的一個事件(或逾時)，就會將串連還給第一個線程。

當活動的用戶端串連數量遠少於空閑用戶端串連數量時，強烈建議使用"idle threads"。這使得ProxySQL可以處理幾十萬個串連(測試時是100W個串連)。

1.5 Monitor模組相關的線程

monitor模組有自己的線程管理系統，還有自己的線程池。正常情況下，monitor模組有以下幾個線程：

• 一個master線程，負責產生、協調其它monitor相關的線程。
  
• 一個負責監控connect的線程。
  
• 一個負責監控ping的線程。
  
• 一個負責監控read_only的線程。
  
• 一個負責監控replication lag的線程。
  
• 一個線程池提供monitor worker線程，上面每個監控線程都是任務的生產者，worker線程從任務隊列消費一個任務並執行該任務。該線程池初始時預設為mysql thread的兩倍。

線程池負責執行所有的檢查任務，並通過以上各調度線程來監控調度情況。線程池會基於監控隊列中待檢查的數量多少而自動成長、收縮。基於檢查的結果，會使用相同的線程對結果進行處理，例如避開一個節點、重新設定一個主機群組。

1.6 Query Cache purge thread

該線程是需要時才產生的，它扮演的是垃圾收集器，回收查詢快取。通過垃圾收集器，可保證在用戶端等待響應的過程中絕不會回收緩衝。

1.7 其它線程

在ProxySQL運行過程中，偶爾會派生臨時線程，這些臨時線程是為了向後端發送KILL語句，以便殺掉後端伺服器上對查詢長時間無響應的查詢線程。

此外，ilbmariadbclient庫還會使用一些後台線程，這些線程是為了和後端MySQL server進行一些特定的非同步互動任務。

還有一些模組，例如內建的Http server，正處於實驗階段的cluster、ClickHouse Server、SQLite3 Server，如果啟用了這些功能，則會按需建立它們對應的線程。

2.ProxySQL的線程池

在ProxySQL中，有兩個地方使用了線程池：

• 快速建立和後端MySQL的串連：ProxySQL為了儘快和後端MySQL建立新的TCP串連，使用了一個線程池來等待accept()返回新串連。
  
• Monitor模組：為了儘快執行各監控線程生產的監控任務，monitor模組提供了一個monitor worker線程池，可以快速從任務隊列中消費任務。

需要注意的是，正常情況下，MySQL worker線程是最繁忙、最消耗CPU資源的部分，但在一個極其繁忙的環境下，monitor模組需要監控的串連數過多，消耗的CPU也是不可忽視的。

3.ProxySQL的串連池

ProxySQL同樣有兩個串連池，和線程池部分是對應的。

3.1 快速串連到後端MySQL節點

線程池是為了快速和後端建立新的TCP串連，而這裡的串連池是為了快速和後端建立串連。

ProxySQL使用一個串連池來存放一定數量的"之前已經和某後端建立串連，但當前是空閑串連"的串連。當需要向這些串連對應的後端發送新的資料包時，可以快速地取回串連，因為這些串連早已經被開啟。

當應用程式發送了一個MySQL請求給ProxySQL時，ProxySQL首先解析要路由到哪個後端，如果串連池中已經有和該後端的串連，將重用該串連，否則將建立一個新的和後端的串連。

當處理完用戶端的請求後，串連會還回主機群組管理器(HostGroup Manager)。如果主機群組管理器判斷了該串連是可以被安全共用的，且串連池未滿，則該串連會放進串連池。

放進串連池的串連都是空閑串連，正在使用的串連是不可能進入串連池的。ProxySQL會定期發送ping訊息來維持空閑串連。如果某串連從上一次ping之後，如果還沒有被使用，則該串連被定義為空白閑串連。對於空閑串連ping的時間間隔由變數mysql-ping_interval_server_msec控制。

但是，不是所有的未使用的串連都會放進串連池。該變數用來控制某後端的空閑串連和最大總串連數的百分比。對於每個hostgroup/backend，主機群組管理器只會保持串連池中的最大串連數為mysql-free_connections_pct * mysql_servers.max_connections / 100。池中的每個空閑串連都通過間斷性的ping來維持它的開啟狀態。

當一個串連放回串連池時，會計算這個串連之後還能處理多少個語句，當處理的語句數量達到該閾值後，將關閉該串連(v1.4.3之前)或者重設該串連(從v1.4.4開始)。

3.1.1 相關變數

mysql-ping_interval_server_msec
ProxySQL為了維持和後端的空閑串連，每隔一段時間發送一次ping，該變數指定發起ping的時間間隔。預設值為10000毫秒(即10秒)。

mysql-ping_timeout_server
ProxySQL為了維持和後端的空閑串連，每隔一段時間發送一次ping。該變數指定ping得到回複的逾時時間。預設值為200毫秒。

mysql-connection_max_age_ms
當該變數設定的值大於0時(單位毫秒)，如果某個空閑串連(當前沒有任何會話使用)的空閑時間長度超過了這裡設定的值，則這個串連會關閉。預設值為0，表示不會因為存活時間而關閉空閑串連。

3.2 Monitor模組的串連池

Monitor有它自己的串連池。當串連池中空閑串連的空閑時間長度達到了3 * mysql-monitor_ping_interval(毫秒)後，該空閑串連將自動被purge。

變數mysql-monitor_ping_interval的預設值為1分鐘(60000毫秒)，所以，monitor串連池中的空閑串連預設最長維持3分鐘。

MySQL中介軟體之ProxySQL(5)：線程、線程池、串連池