php查詢mysql返回大量資料結果集導致記憶體溢出的解決方案

標籤：style   io   ar   color   使用   sp   strong   on   資料   

web開發中如果遇到php查詢mysql返回大量資料導致記憶體溢出、或者記憶體不夠用的情況那就需要看下MySQL C API的關聯,那麼究竟是什麼導致php查詢mysql返回大量資料時記憶體不夠用情況？

答案是: mysql_query 和 mysql_unbuffered_query 兩個函數

        首先來分析一個典型的執行個體:在執行下面的代碼的時候就會導致php請求mysql返回結果太多(10W以上)導致PHP記憶體不夠用。

while （$row = mysql_fetch_assoc（$result）） 

{

    // …

}

        對於上面的問題來講,首先要從mysql的原理上來分析 MySQL是經典的C/S（Client/Server， 用戶端/伺服器）模型， 在遍曆結果集之前， 底層的實現可能已經把所有的資料通過網路（假設使用TCP/IP）讀到了Client的緩衝區， 也有另一種可能， 就是資料還在Server端的發送緩衝區裡， 並沒有傳給Client。

        通過查看php和mysql的源碼中發現兩個相似的mysql函數：mysql_query() 和mysql_unbuffered_query(),

發現前一個函數執行時， 會把所有的結果集從Server端讀到Client端的緩衝區中， 而後一個則沒有， 這就是“unbuffered（未緩衝）”的意思。也就是說， 如果用mysql_unbuffered_query() 執行了一條返回大量結果集的SQL語句， 在遍曆結果之前， PHP的記憶體是沒有被結果集佔用的。 而用mysql_query() 來執行同樣的語句的話， 函數返回時， PHP的記憶體佔用便會急劇增加， 立即耗光記憶體。
PHP_FUNCTION（mysql_query）
{
     php_mysql_do_query（INTERNAL_FUNCTION_PARAM_PASSTHRU， MYSQL_STORE_RESULT）；
}
PHP_FUNCTION（mysql_unbuffered_query）
{
     php_mysql_do_query（INTERNAL_FUNCTION_PARAM_PASSTHRU， MYSQL_USE_RESULT）；
}

        兩個函數都調用了php_mysql_do_query（）， 只差了第2個參數的不同， MYSQL_STORE_RESULT和MYSQL_USE_RESULT. 再看php_mysql_do_query（）的實現：

if（use_store == MYSQL_USE_RESULT） 
{
     mysql_result=mysql_use_result（&mysql->conn）；
}  
else
{
     mysql_result=mysql_store_result（&mysql->conn）；
}

        mysql_use_result（）和mysql_store_result（）是MySQL的C API函數， 這兩個C API函數的區別就是後者把結果集從MySQL Server端全部讀取到了Client端， 前者只是讀取了結果集的元資訊。

        扯遠了: 回到剛才的話題使用mysql_unbuffered_query(), 可以避免記憶體的立即佔用, 如果返回的結果存放到array中也是完全沒有問題的, 也不會出現php查詢mysql資料量過大時導致記憶體溢出問題.

php查詢mysql返回大量資料結果集導致記憶體溢出的解決方案