高可用網站多點部署架構實戰經驗總結

標籤：normal   alt   實現   分享   方案   速度   uri   其他   資訊   

本文是學習大型分布式網站架構的技術總結。對架構一個高效能，高可用，可伸縮，可擴充的分布式網站進行了概要性描述，並給出一個架構參考。一部分為讀書筆記，一部分是個人經驗總結。對大型分布式網站架構有很好的參考價值。

一、大型網站的特點

使用者多，分布廣泛

大流量，高並發

海量資料，服務高可用

安全環境惡劣，易受網路攻擊

功能多，變更快，頻繁發布

從小到大，漸進發展

以使用者為中心

免費服務，付費體驗

二、大型網站架構目標

高效能：提供快速的訪問體驗。

高可用：網站服務一直可以正常訪問。

可伸縮：通過硬體增加/減少，提高/降低處理能力。

安全性：提供網站安全訪問和資料加密，安全儲存等策略。

擴充性：方便的通過新增/移除方式，增加/減少新的功能/模組。

敏捷性：隨需應變，快速響應；

三、大型網站架構模式

分層：一般可分為，應用程式層，服務層，資料層，管理層，分析層；

分割：一般按照業務/模組/功能特點進行劃分，比如應用程式層分為首頁，使用者中心。

分布式：將應用分開部署（比如多台物理機），通過遠程調用協同工作。

叢集：一個應用/模組/功能部署多份（如：多台物理機），通過負載平衡共同提供對外訪問。

緩衝：將資料放在距離應用或使用者最近的位置，加快訪問速度。

非同步：將同步的操作非同步化。用戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。一般指：請求——響應——通知 模式。

冗餘：增加副本，提高可用性，安全性，效能。

安全：對已知問題有有效解決方案，對未知/潛在問題建立發現和防禦機制。

自動化：將重複的，不需要人工參與的事情，通過工具的方式，使用機器完成。

敏捷性：積極接受需求變更，快速響應業務發展需求。

四、高效能架構

以使用者為中心，提供快速的網頁訪問體驗。主要參數有較短的回應時間，較大的並發處理能力，較高的輸送量，穩定的績效參數。

可分為前端最佳化，應用程式層最佳化，代碼層最佳化，儲存層最佳化。

前端最佳化：網站商務邏輯之前的部分；

瀏覽器最佳化：減少Http請求數，使用瀏覽器緩衝，啟用壓縮，Css Js位置，Js非同步，減少Cookie傳輸；

CDN加速，反向 Proxy；

應用程式層最佳化：處理網站業務的伺服器。使用緩衝，非同步，叢集

代碼最佳化：合理的架構，多線程，資源複用（對象池，線程池等），良好的資料結構，JVM調優，單例，Cache等；

儲存最佳化：緩衝，固態硬碟，光纖傳輸，最佳化讀寫，磁碟冗餘，分布式儲存（HDFS），NOSQL等；

五、高可用架構

大型網站應該在任何時候都可以正常訪問。正常提供對外服務。因為大型網站的複雜性，分布式，廉價伺服器，開來源資料庫，作業系統等特點。要保證高可用是很困難的，也就是說網站的故障是不可避免的。

如何提高可用性，就是需要迫切解決的問題。首先，需要從架構層級，在規劃的時候，就考慮可用性。行業內一般用幾個9表示可用性指標。比如四個9（99.99），一年內允許的不可用時間是53分鐘。

不同層級使用的策略不同，一般採用冗餘備份和失效轉移解決高可用問題。

應用程式層：一般設計為無狀態的，對於每次請求，使用哪一台伺服器處理是沒有影響的。一般使用負載平衡技術（需要解決Session同步問題），實現高可用。

服務層：負載平衡，分級管理，快速失敗（逾時設定），非同步呼叫，服務降級，等冪設計等。

資料層：冗餘備份（冷，熱備[同步，非同步]，溫備），失效轉移（確認，轉移，恢複）。資料高可用方面著名的理論基礎是CAP理論（持久性，可用性，資料一致性[強一致，使用者一致，最終一致]）

六、可伸縮架構

伸縮性是指在不改變原有架構設計的基礎上，通過添加/減少硬體（伺服器）的方式，提高/降低系統的處理能力。

應用程式層：對應用進行垂直或水平切分。然後針對單一功能進行負載平衡（DNS,HTTP[反向 Proxy],IP,鏈路層）。

服務層：與應用程式層類似；

資料層：分庫，分表，NOSQL等；常用演算法Hash，一致性Hash。

七、可擴充架構

可以方便的進行功能模組的新增/移除，提供代碼/模組層級別良好的可擴充性。

模組化，組件化：高內聚，內耦合，提高複用性，擴充性。

穩定介面：定義穩定的介面，在介面不變的情況下，內部結構可以“隨意”變化。

設計模式：應用物件導向思想，原則，使用設計模式，進行代碼層面的設計。

訊息佇列：模組化的系統，通過訊息佇列進行互動，使模組之間的依賴解耦。

分布式服務：公用模組服務化，提供其他系統使用，提高可重用性，擴充性。

八、安全架構

對已知問題有有效解決方案，對未知/潛在問題建立發現和防禦機制。對於安全問題，首先要提高安全意識，建立一個安全的有效機制，從政策層面，組織層面進行保障。比如伺服器密碼不能泄露，密碼每月更新，並且三次內不能重複；每周安全掃描等。以制度化的方式，加強安全體系的建設。同時，需要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，資料保密安全等。

基礎設施安全：硬體採購，作業系統，網路環境方面的安全。一般採用，正規渠道購買高品質的產品，選擇安全的作業系統，及時修補漏洞，安裝殺毒軟體防火牆。防範病毒，後門。設定防火牆策略，建立DDOS防禦系統，使用攻擊檢測系統，進行子網隔離等手段。

應用系統安全：在程式開發時，對已知常用問題，使用正確的方式，在代碼層面解決掉。防止跨站指令碼攻擊（XSS），注入攻擊，跨站請求偽造（CSRF），錯誤資訊，HTML注釋，檔案上傳，路徑遍曆等。還可以使用Web Application Firewall（比如：ModSecurity），進行安全性漏洞掃描等措施，加強應用層級的安全。

資料保密安全：儲存安全（存在在可靠的裝置，即時，定時備份），儲存安全（重要的資訊加密儲存，選擇合適的人員複雜儲存和檢測等），傳輸安全（防止資料竊取和資料篡改）；

常用的加解密演算法（單項散列加密[MD5,SHA]，對稱式加密[DES,3DES,RC]），非對稱式加密[RSA]等。

九、敏捷性

網站的架構設計，營運管理要適應變化，提供高伸縮性，高擴充性。方便的應對快速的業務發展，突增高流量訪問等要求。

除上面介紹的架構要素外，還需要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，營運統一起來，隨需應變，快速響應。

十、大型架構舉例

以上採用七層邏輯架構，第一層客戶層，第二層前端最佳化層，第三層應用程式層，第四層服務層，第五層資料存放區層，第六層大資料存放區層，第七層大資料處理層。

客戶層：支援PC瀏覽器和手機APP。差別是手機APP可以直接存取通過IP訪問，反向 Proxy伺服器。

前端層：使用DNS負載平衡，CDN本地加速以及反向 Proxy服務；

應用程式層：網站應用程式叢集；按照業務進行垂直分割，比如商品應用，測試人員中樞等；

服務層：提供公用服務，比如使用者服務，訂單服務，支付服務等；

資料層：支援關係型資料庫叢集（支援讀寫分離），NOSQL叢集，Distributed File System叢集；以及分布式Cache；

大資料存放區層：支援應用程式層和服務層的日誌資料收集，關聯式資料庫和NOSQL資料庫的結構化和半結構化資料收集；

大資料處理層：通過Mapreduce進行離線資料分析或Storm即時資料分析，並將處理後的資料存入關係型資料庫。（實際使用中，離線資料和即時資料會按照業務要求進行分類處理，並存入不同的資料庫中，供應用程式層或服務層使用）。

高可用網站多點部署架構實戰經驗總結