MySQL最大串連數超過限制的解決方案

MySQL最大串連數超過限制的解決方案

最近網站出現 User 資料庫名稱 has already more than 'max_user_connections' active connections 的報錯，網站癱瘓。有必要研究下這個問題。
 
max_user_connections 是 MySQL 使用者串連數的最大值設定，整段語句的意思是：伺服器的 MySQL 的最大串連數參數設定不足。解決方案：修改 MySQL 安裝目錄下 my.ini 或者 my.cnf 檔案內的 max_user_connections 參數的數值，重啟 MySQL 伺服器。
 
但是正常來說，MySQL預設的100個串連數是足夠的。我們需要從程式上去考慮。MySQL的預設最大串連數為100（N），實際給普通使用者使用只有N-1個，保留一個串連是留給超級管理員使用的，防止串連佔滿了不會把管理員也踢出來。很多網站在啟動並執行時候都會出現串連數受限現象，我認為十之八九並非是網站的真實訪問量太大導致串連數超標，更多是因為我們在設計網站程式的時候採用了不合理的設計架構或資料結構引起的。非正常串連超限可能原因如下（天緣即時歸納未必完整或無錯訛僅供參考）：
 
類似人數、線上時間、瀏覽數等統計功能與主程式資料庫同屬一個資料空間時就很容易出現。
複雜的動態網頁尤其是使用者每次瀏覽都涉及到多資料庫或多表操作時候也很容易出現。
還有就是程式設計的不合理（比如複雜運算、等待等操作放置在資料庫互動行為中間進行），或者程式存在釋放BUG。
電腦硬體設定太低卻安裝太高版、太高配置的MySQL。
未採用緩衝技術。
資料庫未經過最佳化或表格設計及其複雜。
等等一些原因，都會延長資料庫的資料互動時間或增加互動次數。所以，如果大家遇到這類問題，首先要考慮程式是否存在BUG導致串連釋放失敗，再次就是考慮最佳化軟硬體。當然修改MySQL串連數也是軟體最佳化的操作方法之一，希望大家都能夠本著學習的態度通過研究一下自身的原因從而解決這一問題。如果實在是找不到原因，那就只好先修改串連數，暫緩定位真實原因了。

關於PHP的資料庫持久串連 mysql_pconnect
PHP程式員應該都知道串連MySQL資料庫可以使用mysql_pconnect（永久串連）函數，使用資料庫永久串連可以提高效率，但是實際應用中資料庫永久串連往往會導致出現一些問題，通常的表現就是在大訪問量的網站上時常發生斷斷續續的無法串連資料庫的情況，出現類似＂Too many connections in ...＂的錯誤提示資訊，重新啟動伺服器又正常了，但過不了一會兒又出現同樣的故障。（www.bkjia.com）對於這些問題的成因，恐怕就不是每個人都能說清楚的了，雖然PHP文檔裡有一些相關資料，但是解釋的並不淺顯易懂，這裡我厚著臉皮試圖做一個簡單的討論，所述觀點不見得全都正確，歡迎大家反饋意見。

首先看看資料庫永久串連的定義：永久的資料庫連接是指在指令碼結束運行時不關閉的串連。當收到一個永久串連的請求時。PHP 將檢查是否已經存在一個（前面已經開啟的）相同的永久串連。如果存在，將直接使用這個串連；如果不存在，則建立一個新的串連。所謂"相同"的串連是指用相同的使用者名稱和密碼到相同主機的串連。

PHP使用永久串連方式操作MySQL是有前提的：就是PHP必須安裝為多線程或多進程Web伺服器的外掛程式或模組。最常見的形式是把PHP用作多進程Apache伺服器的一個模組。對於一個多進程的伺服器，其典型特徵是有一個父進程和一組子進程協調運行，其中實際產生Web頁面的是子進程。每當用戶端向父進程提出請求時，該請求會被傳遞給還沒有被其它的用戶端請求佔用的子進程。這也就是說當相同的用戶端第二次向服務端提出請求時，它將有可能被一個不同的子進程來處理。在開啟了一個永久串連後，所有不同子進程請求SQL服務的後繼頁面都能夠重新使用這個已經建立的 SQL伺服器串連。它使得每個子進程在其生命週期中只做一次串連操作，而非每次在處理一個頁面時都要向 SQL 伺服器提出串連請求。每個子進程將對伺服器建立各自獨立的永久串連。PHP本身並沒有資料庫連接池的概念，但是Apache有進程池的概念, 一個Apache子進程結束後會被放回進程池, 這也就使得用mysql_pconnect開啟的的那個mysql串連資源可以不被釋放，而是依附在相應的Apache子進程上儲存到了進程池中。於是在下一個串連請求時它就可以被複用。一切看起來似乎都很正常，但是在Apache並發訪問量大的時候，如果使用mysql_pconnect，會由於之前的Apache子進程佔用的MySQL串連沒有close, 很快使MySQL達到最大串連數，使得之後的請求可能得不到響應。

上面的部分文字是摘抄自PHP文檔，看起來可能還是有些文縐縐的不好理解，那麼我就用大白話再舉一個例子來說明問題：

假設Apache配置最大串連數為1000，MySQL配置最大串連數為100，當Apache伺服器接到200個並發訪問的時候，其中100個涉及到資料庫訪問，剩下的100個不涉及資料庫訪問，因為這個時候還不存在可用的資料庫連接，所以這裡面涉及到資料庫訪問的100個並發會同時產生100個資料庫永久串連，達到了資料庫最大串連數，當這些操作沒有結束的時候，任何其他的串連都無法再獲得資料庫連接，當這些操作結束了，相應的串連會被放入進程池，此時Apache的進程池裡就有了200個閒置子進程，其中100個是帶有資料庫連接的，由於Apache會為訪問請求隨機的挑選空閑子進程，所以你得到的子進程很可能是不包含資料庫連接的那100個中的一個，而資料庫連接已經達到了最大值，你也不可能成功的建立新的資料庫連接，唉，你便只好不停的重新整理頁面，哪個時候運氣好，碰巧分配到了帶有資料庫連接的子進程，才能正常瀏覽頁面。如果是大訪問量的網站來說，任何時候都可能存在大量的並發，所以瀏覽者可能就會不停的發現無法串連資料庫的現象了。

或許你會說，我們把Apache和MySQL的最大串連數調成一樣大不就可以了嗎？是的，合理的調整這個最大串連數某種程度上會避免這個問題的發生，但是Apache和MySQL的負載能力是不同的，如果按照Apache的負載能力來設定，對於MySQL來說，這個最大串連數就偏大，會產生大量的MySQL資料庫永久串連，打個比方，就好像和平時代還要養活一個幾百萬的軍隊一樣，其開銷得不償失；而如果按照Mysql的負載能力設定，對於Apache來說，這個最大串連數就偏小，有點殺雞牛刀的感覺，無法發揮Apache的最大效率。

所以按照PHP手冊上的介紹，只適合在並發訪問不大的網站上使用資料庫永久串連，但對於一個並發訪問不大的網站來說，使用資料庫永久串連帶來的效率提高似乎沒有太大的意義，從這個角度上來看，我覺得PHP中的資料庫永久串連基本上是一個雞肋的角色，如果你一定要使用資料庫連接池的概念，可以嘗試一下sqlrelay或者Apache本身提供的mod_dbd，說不定會有驚喜。

關於mysql_free_result和mysql_close
之前用mysql的時候一直是在用短連結，調用mysql_store_result擷取一次資料之後就直接調用：
mysql_free_result(m_result);
mysql_close(m_Database);

但是有兩個問題：

當使用長串連時（即connect之後一直不close），如果最後會調用mysql_close，需不需要每次都調用mysql_free_result呢?
當mysql_close調用之後，m_result的資料是否還可以用。
先說一下結論：
必須每次調用。因為經過測試，每次mysql_store_result的指標都是不同的，可見並不是共用了同一塊buf。
還是可以使用。經過valgrind掃描，只調用mysql_close的掃描結果是：
==9397== 16,468 (88 direct, 16,380 indirect) bytes in 1 blocks are definitely lost in loss record 4 of 5
==9397== at 0x40219B3: malloc (vg_replace_malloc.c:195)
==9397== by 0x8053EA2: my_malloc (in /data/home/dantezhu/appbase/application/platform/openqqcom/share/db_openright/test/test)
==9397== by 0x806D314: mysql_store_result (in /data/home/dantezhu/appbase/application/platform/openqqcom/share/db_openright/test/test)
==9397== by 0x804BB04: CMySQLCppClient::Result(st_mysql_res*&) (mysql_cpp_client.cpp:127)
==9397== by 0x804AB58: CDBOpenRight::GetUinsByApp(unsigned int, std::set<unsigned int, std::less<unsigned int>, std::allocator<unsigned int> >&) (db_openright.cpp:58)
==9397== by 0x8049F10: main (test.cpp:27)

以後再慢慢研究。

--------------------------------------分割線 --------------------------------------

Ubuntu 14.04下安裝MySQL

《MySQL權威指南(原書第2版)》清晰中文掃描版 PDF

Ubuntu 14.04 LTS 安裝 LNMP Nginx\PHP5 (PHP-FPM)\MySQL

Ubuntu 14.04下搭建MySQL主從伺服器

Ubuntu 12.04 LTS 構建高可用分布式 MySQL 叢集

Ubuntu 12.04下原始碼安裝MySQL5.6以及Python-MySQLdb

--------------------------------------分割線 --------------------------------------

本文永久更新連結地址：