PHP解決網站大資料大流量與高並發

這篇文章主要介紹的內容是關於PHP解決網站大資料大流量與高並發，有著一定的參考價值，現在分享給大家，有需要的朋友可以參考一下

1：硬體方面

普通的一個p4的伺服器每天最多能支援大約10萬左右的IP，如果訪問量超過10W那麼需要專用的伺服器才能解決，如果硬體不給力 軟體怎麼最佳化都是於事無補的。主要影響伺服器的速度

有：網路-硬碟讀寫速度-記憶體大小-cpu處理速度。

2：軟體方面

第一個要說的就是資料庫，首先要有一個很好的架構，查詢盡量不用* 避免相互關聯的子查詢 給經常查詢的添加索引 用排序來取代非順序存取，如果條件允許 ，一般MySQL伺服器最好安裝

在Linux作業系統中 。關於apache和nginx在高並發的情況下推薦使用nginx，ginx是Apache伺服器不錯的替代品。nginx記憶體消耗少 官方測試能夠支撐5萬並發串連，在實際生產環境中跑

到2～3萬並發串連數。php方面不需要的模組盡量關閉，使用memcached，Memcached 是一個高效能的分布式記憶體對象緩衝系統，不使用資料庫直接從記憶體當中調資料，這樣大大提升了速

度，iiS或Apache啟用GZIP壓縮最佳化網站，壓縮網站內容大大節省網站流量。

第二，禁止外部的盜鏈。

外部網站的圖片或者檔案盜鏈往往會帶來大量的負載壓力，因此應該嚴格限制外部對
於自身的圖片或者檔案盜鏈，好在目前可以簡單地通過refer來控制盜鏈，Apache自
己就可以通過配置來禁止盜鏈，IIS也有一些第三方的ISAPI可以實現同樣的功能。當
然，偽造refer也可以通過代碼來實現盜鏈，不過目前蓄意偽造refer盜鏈的還不多，
可以先不去考慮，或者使用非技術手段來解決，比如在圖片上增加浮水印。

第三，控制大檔案的下載。

大檔案的下載會佔用很大的流量，並且對於非SCSI硬碟來說，大量檔案下載會消耗
CPU，使得網站響應能力下降。因此，盡量不要提供超過2M的大檔案下載，如果需要
提供，建議將大檔案放在另外一台伺服器上。

第四，使用不同主機分流主要流量

將檔案放在不同的主機上，提供不同的鏡像供使用者下載。比如如果覺得RSS檔案佔用
流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這
樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了

第五，使用不同主機分流主要流量
將檔案放在不同的主機上，提供不同的鏡像供使用者下載。比如如果覺得RSS檔案佔用流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上，這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了。

第六，使用流量分析統計軟體。
在網站上安裝一個流量分析統計軟體，可以即時知道哪些地方耗費了大量流量，哪些頁面需要再進行最佳化，因此，解決流量問題還需要進行精確的統計分析才可以。比如：Google Analytics（Google分析）。

高並發和高負載的約束條件：硬體、部署、作業系統、Web 服務器、PHP、MySQL、測試

部署：伺服器分離、資料庫叢集和庫表散列、鏡像、負載平衡

負載平衡分類： 1)、DNS輪循 2）Proxy 伺服器負載平衡 3）地址轉換網關負載平衡 4）NAT負載平衡 5）反向 Proxy負載平衡 6）混合型負載平衡

部署方案1：

適用範圍：靜態內容為主體的網站和應用系統；對系統安全要求較高的網站和應用系統。

Main Server：主伺服器

承載程式的主體運行壓力，處理網站或應用系統中的動態請求；

將靜態頁面推送至多個發行伺服器；

將附件檔案推送至檔案伺服器；

安全要求較高，以靜態為主的網站，可將伺服器置於內網屏蔽外網的訪問。

DB Server：資料庫伺服器

承載資料庫讀寫壓力；

只與主伺服器進行資料量交換，屏蔽外網訪問。

File/Video Server：檔案/視頻伺服器

承載系統中佔用系統資源和頻寬資源較大的資料流；

作為大附件的儲存和讀寫倉庫；

作為視頻伺服器將具備視頻自動處理能力。

發行伺服器組：

只負責靜態頁面的發布，承載絕大多數的Web請求；

通過Nginx進行負載平衡部署。

部署方案2：

適用範圍：以動態互動內容為主體的網站或應用系統；負載壓力較大，且預算比較充足的網站或應用系統；

Web伺服器組：

Web服務無主從關係，屬平行冗餘設計；

通過前端負載平衡裝置或Nginx反向 Proxy實現負載平衡；

劃分專用檔案伺服器/視頻伺服器有效分離輕/重匯流排；

每台Web伺服器可通過DEC可實現串連所有資料庫，同時劃分主從。

資料庫伺服器組：

相對均衡的承載資料庫讀寫壓力；

通過資料庫物理檔案的映射實現多資料庫的資料同步。

共用磁碟/磁碟陣列

將用於資料物理檔案的統一讀寫

用於大型附件的儲存倉庫

通過自身物理磁碟的均衡和冗餘，確保整體系統的IO效率和資料安全；

方案特性：

通過前端負載平衡，合理分配Web壓力；

通過檔案/視頻伺服器與常規Web伺服器的分離，合理分配輕重資料流；

通過資料庫伺服器組，合理分配資料庫IO壓力；

每台Web伺服器通常只串連一台資料庫伺服器，通過DEC的心跳檢測，可在極短時間內自動切換至冗餘資料庫伺服器；

磁碟陣列的引入，大幅提升系統IO效率的同時，極大增強了資料安全性。

Web伺服器：

Web伺服器很大一部分資源佔用來自於處理Web請求，通常情況下這也就是Apache產生的壓力，在高並發串連的情況下，Nginx是Apache伺服器不錯的替代品。Nginx (“engine x”) 是俄羅斯人編寫的一款高效能的 HTTP 和反向 Proxy伺服器。在國內，已經有新浪、搜狐通行證、網易新聞、網易部落格、金山逍遙網、金山愛詞霸、校內網、YUPOO相簿、豆瓣、迅雷看看等多家網站、 頻道使用 Nginx 伺服器。

Nginx的優勢：

高並發串連：官方測試能夠支撐5萬並發串連，在實際生產環境中跑到2～3萬並發串連數。

記憶體消耗少：在3萬並發串連下，開啟的10個Nginx 進程才消耗150M記憶體（15M*10=150M）。

內建的健全狀態檢查功能：如果 Nginx Proxy 後端的某台 Web 服務器宕機了，不會影響前端訪問。

策略：相對於老牌的Apache，我們選擇Lighttpd和Nginx這些具有更小的資源佔用率和更高的負載能力的web伺服器。

Mysql：

MySQL本身具備了很強的負載能力，MySQL最佳化是一項很複雜的工作，因為這最終需要對系統最佳化的很好理解。大家都知道資料庫工作就是大量的、 短時的查詢和讀寫，除了程式開發時需要注意建立索引、提高查詢效率等軟體開發技巧之外，從硬體設施的角度影響MySQL執行效率最主要來自於磁碟搜尋、磁碟IO水平、CPU周期、記憶體頻寬。

　　根據伺服器上的硬體和軟體條件進行MySQl最佳化。MySQL最佳化的核心在於系統資源的分配，這不等於無限制的給MySQL分配更多的資源。在MySQL設定檔中我們介紹幾個最值得關注的參數：

改變索引緩衝長度(key_buffer)

改變表長(read_buffer_size)

設定開啟表的數目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

如果條件允許 ，一般MySQL伺服器最好安裝在Linux作業系統中，而不是安裝在FreeBSD中。
策略： MySQL最佳化需要根據業務系統的資料庫讀寫特性和伺服器硬體設定，制定不同的最佳化方案，並且可以根據需要部署MySQL的主從結構。

PHP：

1、載入儘可能少的模組；

2、如果是在windows平台下，儘可能使用IIS或者Nginx來替代我們平常用的Apache；

3、安裝加速器（都是通過緩衝php代碼先行編譯的結果和資料庫結果來提高php代碼的執行速度）
eAccelerator，eAccelerator是一個自由開放源碼php加速器，最佳化和動態內容緩衝，提高了效能php指令碼的緩衝效能，使得PHP指令碼在編譯的狀態下，對伺服器的開銷幾乎完全消除。

Apc：Alternative PHP Cache（APC）是 PHP 的一個免費公開的最佳化代碼緩衝。它用來提供免費，公開並且強健的架構來緩衝和最佳化 PHP 的中間代碼。

memcache：memcache是由Danga Interactive開發的，高效能的，分布式的記憶體對象緩衝系統，用於在Live App中減少資料庫負載，提升訪問速度。主要機制是通過在記憶體裡維護一個統 一的巨大的hash表，Memcache能夠用來儲存各種格式的資料，包括映像、視頻、檔案以及資料庫檢索的結果等

Xcache：國人開發的緩衝器，

策略： 為PHP安裝加速器。

Proxy 伺服器（快取服務器）：

Squid Cache（簡稱為Squid）是一個流行的自由軟體（GNU通用公用許可證）的Proxy 伺服器和Web快取服務器。Squid有廣泛的用途，從作為網頁伺服器的前置cache伺服器緩衝相關請求來提高Web伺服器的速度，到為一組人共用網路資源而緩衝全球資訊網，網域名稱系統和其他網路搜尋，到通過過濾流量協助網路安全，到區域網路通過代理網。Squid主要設計用於在Unix一類系統運行。

策略：安裝Squid 反向 Proxy伺服器，能夠大幅度提高伺服器效率。

壓力測試：壓力測試是一種基本的品質保證行為，它是每個重要軟體測試工作的一部分。壓力測試的基本思路很簡單：不是在常規條件下運行手動或自動化的測試，而是在電腦數量較少或系統資源匱乏的條件下運行測試。通常要進行壓力測試的資源套件括內部記憶體、CPU 可用性、磁碟空間和網路頻寬等。一般用並發來做壓力測試。
壓力測試工具：webbench，ApacheBench等

漏洞測試：在我們的系統中漏洞主要包括：sql注入漏洞，xss跨站指令碼攻擊等。安全方面還包括系統軟體，如作業系統漏洞，mysql、apache等的漏洞，一般可以通過升級來解決。

漏洞測試載入器：Acunetix Web Vulnerability Scanner

No related content found.

相關推薦：

PHP解決並發問題的幾種實現

php解決post大量資料時的丟失問題