php解決高並發問題

我們通常衡量一個Web系統的吞吐率的指標是QPS（Query Per Second，每秒處理請求數），解決每秒數萬次的高並發情境，這個指標非常關鍵。舉個例子，我們假設處理一個業務請求平均回應時間為100ms，同時，系統內有20台Apache的Web伺服器，配置MaxClients為500個（表示Apache的最大串連數目）。

那麼，我們的Web系統的理論峰值QPS為（理想化的計算方式）：

20*500/0.1 = 100000 （10萬QPS）

咦？我們的系統似乎很強大，1秒鐘可以處理完10萬的請求，5w/s的秒殺似乎是“紙老虎”哈。實際情況，當然沒有這麼理想。在高並發的實際情境下，機器都處於高負載的狀態，在這個時候平均回應時間會被大大增加。

普通的一個p4的伺服器每天最多能支援大約10萬左右的IP，如果訪問量超過10W那麼需要專用的伺服器才能解決，如果硬體不給力 軟體怎麼最佳化都是於事無補的。主要影響伺服器的速度

有：網路-硬碟讀寫速度-記憶體大小-cpu處理速度。

就Web伺服器而言，Apache開啟了越多的串連進程，CPU需要處理的環境切換也越多，額外增加了CPU的消耗，然後就直接導致平均回應時間增加。因此上述的MaxClient數目，要根據CPU、記憶體等硬體因素綜合考慮，絕對不是越多越好。可以通過Apache內建的abench來測試一下，取一個合適的值。然後，我們選擇記憶體操作層級的儲存的Redis，在高並發的狀態下，儲存的回應時間至關重要。網路頻寬雖然也是一個因素，不過，這種請求資料包一般比較小，一般很少成為請求的瓶頸。負載平衡成為系統瓶頸的情況比較少，在這裡不做討論哈。

那麼問題來了，假設我們的系統，在5w/s的高並髮狀態下，平均回應時間從100ms變為250ms（實際情況，甚至更多）：

20*500/0.25 = 40000 （4萬QPS）

於是，我們的系統剩下了4w的QPS，面對5w每秒的請求，中間相差了1w。

舉個例子，高速路口，1秒鐘來5部車，每秒通過5部車，高速路口運作正常。突然，這個路口1秒鐘只能通過4部車，車流量仍然依舊，結果必定出現大塞車。（5條車道忽然變成4條車道的感覺）

同理，某一個秒內，20*500個可用串連進程都在滿負荷工作中，卻仍然有1萬個新來請求，沒有串連進程可用，系統陷入到異常狀態也是預期之內。

其實在正常的非高並發的業務情境中，也有類似的情況出現，某個業務請求介面出現問題，回應時間極慢，將整個Web請求回應時間拉得很長，逐漸將Web伺服器的可用串連數佔滿，其他正常的業務請求，無串連進程可用。

更可怕的問題是，是使用者的行為特點，系統越是不可用，使用者的點擊越頻繁，惡性迴圈最終導致“雪崩”（其中一台Web機器掛了，導致流量分散到其他正常工作的機器上，再導致正常的機器也掛，然後惡性迴圈），將整個Web系統拖垮。

3. 重啟與過載保護

如果系統發生“雪崩”，貿然重啟服務，是無法解決問題的。最常見的現象是，啟動起來後，立刻掛掉。這個時候，最好在入口層將流量拒絕，然後再將重啟。如果是redis/memcache這種服務也掛了，重啟的時候需要注意“預熱”，並且很可能需要比較長的時間。

秒殺和搶購的情境，流量往往是超乎我們系統的準備和想象的。這個時候，過載保護是必要的。如果檢測到系統滿負載狀態，拒絕請求也是一種保護措施。在前端設定過濾是最簡單的方式，但是，這種做法是被使用者“千夫所指”的行為。更合適一點的是，將過載保護設定在CGI入口層，快速將客戶的直接請求返回

高並發下的資料安全

我們知道在多線程寫入同一個檔案的時候，會存現“安全執行緒”的問題（多個線程同時運行同一段代碼，如果每次運行結果和單線程啟動並執行結果是一樣的，結果和預期相同，就是安全執行緒的）。如果是MySQL資料庫，可以使用它內建的鎖機制很好的解決問題，但是，在大規模並發的情境中，是不推薦使用MySQL的。秒殺和搶購的情境中，還有另外一個問題，就是“超發”，如果在這方面控制不慎，會產生髮送過多的情況。我們也曾經聽說過，某些電商搞搶購活動，買家成功拍下後，商家卻不承認訂單有效，拒絕發貨。這裡的問題，也許並不一定是商家奸詐，而是系統技術層面存在超發風險導致的。

1. 超發的原因

假設某個搶購情境中，我們一共只有100個商品，在最後一刻，我們已經消耗了99個商品，僅剩最後一個。這個時候，系統發來多個並發請求，這批請求讀取到的商品餘量都是99個，然後都通過了這一個餘量判斷，最終導致超發。（同文章前面說的情境）

在上面的這個圖中，就導致了並發使用者B也“搶購成功”，多讓一個人獲得了商品。這種情境，在高並發的情況下非常容易出現。

最佳化方案1：將庫存欄位number欄位設為unsigned，當庫存為0時，因為欄位不能為負數，將會返回false

<?php//最佳化方案1：將庫存欄位number欄位設為unsigned，當庫存為0時，因為欄位不能為負數，將會返回falseinclude('./mysql.php');$username = 'wang'.rand(0,1000);//產生唯一訂單function build_order_no(){  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);}//記錄日誌function insertLog($event,$type=0,$username){    global $conn;    $sql="insert into ih_log(event,type,usernma)    values('$event','$type','$username')";    return mysqli_query($conn,$sql);}function insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number){      global $conn;      $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price,username,number)      values('$order_sn','$user_id','$goods_id','$sku_id','$price','$username','$number')";     return  mysqli_query($conn,$sql);}//類比下單操作//庫存是否大於0$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' ";$rs=mysqli_query($conn,$sql);$row = $rs->fetch_assoc();  if($row['number']>0){//高並發下會導致超賣      if($row['number']<$number){        return insertLog('庫存不夠',3,$username);      }      $order_sn=build_order_no();      //庫存減少      $sql="update ih_store set number=number-{$number} where sku_id='$sku_id' and number>0";      $store_rs=mysqli_query($conn,$sql);      if($store_rs){          //產生訂單          insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number);          insertLog('庫存減少成功',1,$username);      }else{          insertLog('庫存減少失敗',2,$username);      }  }else{      insertLog('庫存不夠',3,$username);  }?>

2. 悲觀鎖思路

解決安全執行緒的思路很多，可以從“悲觀鎖”的方向開始討論。

悲觀鎖，也就是在修改資料的時候，採用鎖定狀態，排斥外部請求的修改。遇到加鎖的狀態，就必須等待。

雖然上述的方案的確解決了安全執行緒的問題，但是，別忘記，我們的情境是“高並發”。也就是說，會很多這樣的修改請求，每個請求都需要等待“鎖”，某些線程可能永遠都沒有機會搶到這個“鎖”，這種請求就會死在那裡。同時，這種請求會很多，瞬間增大系統的平均回應時間，結果是可用串連數被耗盡，系統陷入異常。

最佳化方案2：使用MySQL的事務，鎖住操作的行

<?php//最佳化方案2：使用MySQL的事務，鎖住操作的行include('./mysql.php');//產生唯一訂單號function build_order_no(){  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);}//記錄日誌function insertLog($event,$type=0){    global $conn;    $sql="insert into ih_log(event,type)    values('$event','$type')";    mysqli_query($conn,$sql);}//類比下單操作//庫存是否大於0mysqli_query($conn,"BEGIN");  //開始事務$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id' FOR UPDATE";//此時這條記錄被鎖住,其它事務必須等待此次事務提交後才能執行$rs=mysqli_query($conn,$sql);$row=$rs->fetch_assoc();if($row['number']>0){    //產生訂單    $order_sn=build_order_no();    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";    $order_rs=mysqli_query($conn,$sql);    //庫存減少    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";    $store_rs=mysqli_query($conn,$sql);    if($store_rs){      echo '庫存減少成功';        insertLog('庫存減少成功');        mysqli_query($conn,"COMMIT");//事務提交即解鎖    }else{      echo '庫存減少失敗';        insertLog('庫存減少失敗');    }}else{  echo '庫存不夠';    insertLog('庫存不夠');    mysqli_query($conn,"ROLLBACK");}?>

3. FIFO隊列思路

那好，那麼我們稍微修改一下上面的情境，我們直接將請求放入隊列中的，採用FIFO（First Input First Output，先進先出），這樣的話，我們就不會導致某些請求永遠擷取不到鎖。看到這裡，是不是有點強行將多線程變成單線程的感覺哈。

然後，我們現在解決了鎖的問題，全部請求採用“先進先出”的隊列方式來處理。那麼新的問題來了，高並發的情境下，因為請求很多，很可能一瞬間將隊列記憶體“撐爆”，然後系統又陷入到了異常狀態。或者設計一個極大的記憶體隊列，也是一種方案，但是，系統處理完一個隊列內請求的速度根本無法和瘋狂湧入隊列中的數目相比。也就是說，隊列內的請求會越積累越多，最終Web系統平均響應時候還是會大幅下降，系統還是陷入異常。

4. 檔案鎖的思路

對於日IP不高或者說並發數不是很大的應用，一般不用考慮這些！用一般的檔案操作方法完全沒有問題。但如果並發高，在我們對檔案進行讀寫操作時，很有可能多個進程對進一檔案進行操作，如果這時不對檔案的訪問進行相應的獨佔，就容易造成資料丟失

最佳化方案4：使用非阻塞的檔案獨佔鎖定

<?php//最佳化方案4：使用非阻塞的檔案獨佔鎖定include ('./mysql.php');//產生唯一訂單號function build_order_no(){  return date('ymd').substr(implode(NULL, array_map('ord', str_split(substr(uniqid(), 7, 13), 1))), 0, 8);}//記錄日誌function insertLog($event,$type=0){    global $conn;    $sql="insert into ih_log(event,type)    values('$event','$type')";    mysqli_query($conn,$sql);}$fp = fopen("lock.txt", "w+");if(!flock($fp,LOCK_EX | LOCK_NB)){    echo "系統繁忙，請稍後再試";    return;}//下單$sql="select number from ih_store where goods_id='$goods_id' and sku_id='$sku_id'";$rs =  mysqli_query($conn,$sql);$row = $rs->fetch_assoc();if($row['number']>0){//庫存是否大於0    //類比下單操作    $order_sn=build_order_no();    $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price)    values('$order_sn','$user_id','$goods_id','$sku_id','$price')";    $order_rs =  mysqli_query($conn,$sql);    //庫存減少    $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'";    $store_rs =  mysqli_query($conn,$sql);    if($store_rs){      echo '庫存減少成功';        insertLog('庫存減少成功');        flock($fp,LOCK_UN);//釋放鎖    }else{      echo '庫存減少失敗';        insertLog('庫存減少失敗');    }}else{  echo '庫存不夠';    insertLog('庫存不夠');}fclose($fp); ?>

5. 樂觀鎖思路

這個時候，我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖，是相對於“悲觀鎖”採用更為寬鬆的加鎖機制，大都是採用帶版本號碼（Version）更新。實現就是，這個資料所有請求都有資格去修改，但會獲得一個該資料的版本號碼，只有版本號碼符合的才能更新成功，其他的返回搶購失敗。這樣的話，我們就不需要考慮隊列的問題，不過，它會增大CPU的計算開銷。但是，綜合來說，這是一個比較好的解決方案。

有很多軟體和服務都“樂觀鎖”功能的支援，例如Redis中的watch就是其中之一。通過這個實現，我們保證了資料的安全。

最佳化方案5：Redis中的watch

<?php$redis = new redis(); $result = $redis->connect('127.0.0.1', 6379); echo $mywatchkey = $redis->get("mywatchkey");/*  //插入搶購資料 if($mywatchkey>0) {     $redis->watch("mywatchkey");  //啟動一個新的事務。    $redis->multi();   $redis->set("mywatchkey",$mywatchkey-1);   $result = $redis->exec();   if($result) {      $redis->hSet("watchkeylist","user_".mt_rand(1,99999),time());      $watchkeylist = $redis->hGetAll("watchkeylist");        echo "搶購成功！<br/>";         $re = $mywatchkey - 1;           echo "剩餘數量：".$re."<br/>";        echo "使用者列表：<pre>";        print_r($watchkeylist);   }else{      echo "手氣不好，再搶購！";exit;   }   }else{     // $redis->hSet("watchkeylist","user_".mt_rand(1,99999),"12");     //  $watchkeylist = $redis->hGetAll("watchkeylist");        echo "fail！<br/>";            echo ".no result<br/>";        echo "使用者列表：<pre>";      //  var_dump($watchkeylist);   }*/$rob_total = 100;   //搶購數量if($mywatchkey<=$rob_total){    $redis->watch("mywatchkey");    $redis->multi(); //在當前串連上啟動一個新的事務。    //插入搶購資料    $redis->set("mywatchkey",$mywatchkey+1);    $rob_result = $redis->exec();    if($rob_result){         $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),$mywatchkey);        $mywatchlist = $redis->hGetAll("watchkeylist");        echo "搶購成功！<br/>";             echo "剩餘數量：".($rob_total-$mywatchkey-1)."<br/>";        echo "使用者列表：<pre>";        var_dump($mywatchlist);    }else{          $redis->hSet("watchkeylist","user_".mt_rand(1, 9999),'meiqiangdao');        echo "手氣不好，再搶購！";exit;    }}?>

PHP解決網站大資料大流量與高並發

第一個要說的就是資料庫，首先要有一個很好的架構，查詢盡量不用* 避免相互關聯的子查詢 給經常查詢的添加索引 用排序來取代非順序存取，如果條件允許 ，一般MySQL伺服器最好安裝在Linux作業系統中 。關於apache和nginx在高並發的情況下推薦使用nginx，ginx是Apache伺服器不錯的替代品。nginx記憶體消耗少 官方測試能夠支撐5萬並發串連，在實際生產環境中跑到2～3萬並發串連數。php方面不需要的模組盡量關閉，使用memcached，Memcached 是一個高效能的分布式記憶體對象緩衝系統，不使用資料庫直接從記憶體當中調資料，這樣大大提升了速度，iiS或Apache啟用GZIP壓縮最佳化網站，壓縮網站內容大大節省網站流量。

第二，禁止外部的盜鏈。

外部網站的圖片或者檔案盜鏈往往會帶來大量的負載壓力，因此應該嚴格限制外部對
於自身的圖片或者檔案盜鏈，好在目前可以簡單地通過refer來控制盜鏈，Apache自
己就可以通過配置來禁止盜鏈，IIS也有一些第三方的ISAPI可以實現同樣的功能。當
然，偽造refer也可以通過代碼來實現盜鏈，不過目前蓄意偽造refer盜鏈的還不多，
可以先不去考慮，或者使用非技術手段來解決，比如在圖片上增加浮水印。

第三，控制大檔案的下載。

大檔案的下載會佔用很大的流量，並且對於非SCSI硬碟來說，大量檔案下載會消耗
CPU，使得網站響應能力下降。因此，盡量不要提供超過2M的大檔案下載，如果需要
提供，建議將大檔案放在另外一台伺服器上。

第四，使用不同主機分流主要流量

將檔案放在不同的主機上，提供不同的鏡像供使用者下載。比如如果覺得RSS檔案佔用
流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這
樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了

第五，使用不同主機分流主要流量
將檔案放在不同的主機上，提供不同的鏡像供使用者下載。比如如果覺得RSS檔案佔用流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了。

第六，使用流量分析統計軟體。
在網站上安裝一個流量分析統計軟體，可以即時知道哪些地方耗費了大量流量，哪些頁面需要再進行最佳化，因此，解決流量問題還需要進行精確的統計分析才可以。比如：Google Analytics（Google分析）。

高並發和高負載的約束條件：硬體、部署、作業系統、Web 服務器、PHP、MySQL、測試

部署：伺服器分離、資料庫叢集和庫表散列、鏡像、負載平衡

負載平衡分類： 1)、DNS輪循 2）Proxy 伺服器負載平衡 3）地址轉換網關負載平衡 4）NAT負載平衡 5）反向 Proxy負載平衡 6）混合型負載平衡

部署方案1：

適用範圍：靜態內容為主體的網站和應用系統；對系統安全要求較高的網站和應用系統。

Main Server：主伺服器

承載程式的主體運行壓力，處理網站或應用系統中的動態請求；

將靜態頁面推送至多個發行伺服器；

將附件檔案推送至檔案伺服器；

安全要求較高，以靜態為主的網站，可將伺服器置於內網屏蔽外網的訪問。

DB Server：資料庫伺服器

承載資料庫讀寫壓力；

只與主伺服器進行資料量交換，屏蔽外網訪問。

File/Video Server：檔案/視頻伺服器

承載系統中佔用系統資源和頻寬資源較大的資料流；

作為大附件的儲存和讀寫倉庫；

作為視頻伺服器將具備視頻自動處理能力。

發行伺服器組：

只負責靜態頁面的發布，承載絕大多數的Web請求；

通過Nginx進行負載平衡部署。

部署方案2：

適用範圍：以動態互動內容為主體的網站或應用系統；負載壓力較大，且預算比較充足的網站或應用系統；

Web伺服器組：

Web服務無主從關係，屬平行冗餘設計；

通過前端負載平衡裝置或Nginx反向 Proxy實現負載平衡；

劃分專用檔案伺服器/視頻伺服器有效分離輕/重匯流排；

每台Web伺服器可通過DEC可實現串連所有資料庫，同時劃分主從。

資料庫伺服器組：

相對均衡的承載資料庫讀寫壓力；

通過資料庫物理檔案的映射實現多資料庫的資料同步。

共用磁碟/磁碟陣列

將用於資料物理檔案的統一讀寫

用於大型附件的儲存倉庫

通過自身物理磁碟的均衡和冗餘，確保整體系統的IO效率和資料安全；

方案特性：

通過前端負載平衡，合理分配Web壓力；

通過檔案/視頻伺服器與常規Web伺服器的分離，合理分配輕重資料流；

通過資料庫伺服器組，合理分配資料庫IO壓力；

每台Web伺服器通常只串連一台資料庫伺服器，通過DEC的心跳檢測，可在極短時間內自動切換至冗餘資料庫伺服器；

磁碟陣列的引入，大幅提升系統IO效率的同時，極大增強了資料安全性。

Web伺服器：

Web伺服器很大一部分資源佔用來自於處理Web請求，通常情況下這也就是Apache產生的壓力，在高並發串連的情況下，Nginx是Apache伺服器不錯的替代品。Nginx (“engine x”) 是俄羅斯人編寫的一款高效能的 HTTP 和反向 Proxy伺服器。在國內，已經有新浪、搜狐通行證、網易新聞、網易部落格、金山逍遙網、金山愛詞霸、校內網、YUPOO相簿、豆瓣、迅雷看看等多家網站、 頻道使用 Nginx 伺服器。

Nginx的優勢：

高並發串連：官方測試能夠支撐5萬並發串連，在實際生產環境中跑到2～3萬並發串連數。

記憶體消耗少：在3萬並發串連下，開啟的10個Nginx 進程才消耗150M記憶體（15M*10=150M）。

內建的健全狀態檢查功能：如果 Nginx Proxy 後端的某台 Web 服務器宕機了，不會影響前端訪問。

策略：相對於老牌的Apache，我們選擇Lighttpd和Nginx這些具有更小的資源佔用率和更高的負載能力的web伺服器。

Mysql：

MySQL本身具備了很強的負載能力，MySQL最佳化是一項很複雜的工作，因為這最終需要對系統最佳化的很好理解。大家都知道資料庫工作就是大量的、 短時的查詢和讀寫，除了程式開發時需要注意建立索引、提高查詢效率等軟體開發技巧之外，從硬體設施的角度影響MySQL執行效率最主要來自於磁碟搜尋、磁碟IO水平、CPU周期、記憶體頻寬。

　　根據伺服器上的硬體和軟體條件進行MySQl最佳化。MySQL最佳化的核心在於系統資源的分配，這不等於無限制的給MySQL分配更多的資源。在MySQL設定檔中我們介紹幾個最值得關注的參數：

改變索引緩衝長度(key_buffer)

改變表長(read_buffer_size)

設定開啟表的數目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

如果條件允許 ，一般MySQL伺服器最好安裝在Linux作業系統中，而不是安裝在FreeBSD中。
策略： MySQL最佳化需要根據業務系統的資料庫讀寫特性和伺服器硬體設定，制定不同的最佳化方案，並且可以根據需要部署MySQL的主從結構。

PHP：

1、載入儘可能少的模組；

2、如果是在windows平台下，儘可能使用IIS或者Nginx來替代我們平常用的Apache；

3、安裝加速器（都是通過緩衝php代碼先行編譯的結果和資料庫結果來提高php代碼的執行速度）
eAccelerator，eAccelerator是一個自由開放源碼php加速器，最佳化和動態內容緩衝，提高了效能php指令碼的緩衝效能，使得PHP指令碼在編譯的狀態下，對伺服器的開銷幾乎完全消除。

Apc：Alternative PHP Cache（APC）是 PHP 的一個免費公開的最佳化代碼緩衝。它用來提供免費，公開並且強健的架構來緩衝和最佳化 PHP 的中間代碼。

memcache：memcache是由Danga Interactive開發的，高效能的，分布式的記憶體對象緩衝系統，用於在Live App中減少資料庫負載，提升訪問速度。主要機制是通過在記憶體裡維護一個統 一的巨大的hash表，Memcache能夠用來儲存各種格式的資料，包括映像、視頻、檔案以及資料庫檢索的結果等

Xcache：國人開發的緩衝器，

策略： 為PHP安裝加速器。

Proxy 伺服器（快取服務器）：

Squid Cache（簡稱為Squid）是一個流行的自由軟體（GNU通用公用許可證）的Proxy 伺服器和Web快取服務器。Squid有廣泛的用途，從作為網頁伺服器的前置cache伺服器緩衝相關請求來提高Web伺服器的速度，到為一組人共用網路資源而緩衝全球資訊網，網域名稱系統和其他網路搜尋，到通過過濾流量協助網路安全，到區域網路通過代理網。Squid主要設計用於在Unix一類系統運行。

策略：安裝Squid 反向 Proxy伺服器，能夠大幅度提高伺服器效率。

壓力測試：壓力測試是一種基本的品質保證行為，它是每個重要軟體測試工作的一部分。壓力測試的基本思路很簡單：不是在常規條件下運行手動或自動化的測試，而是在電腦數量較少或系統資源匱乏的條件下運行測試。通常要進行壓力測試的資源套件括內部記憶體、CPU 可用性、磁碟空間和網路頻寬等。一般用並發來做壓力測試。
壓力測試工具：webbench，ApacheBench等

漏洞測試：在我們的系統中漏洞主要包括：sql注入漏洞，xss跨站指令碼攻擊等。安全方面還包括系統軟體，如作業系統漏洞，mysql、apache等的漏洞，一般可以通過升級來解決。

漏洞測試載入器：Acunetix Web Vulnerability Scanner

No related content found.

