高並發資料擷取的架構應用（Redis的應用）

標籤：

問題的出發點：

      最近公司為了發展需要，要擴大對使用者的資訊採集，每個使用者的採集量估計約3W。如果使用者量增加的話，將會大量照成採集量成3W倍的增長，但是又要滿足日常業務需要，特別是報表資料必要在規定的時間內完成。

技術障礙：

     1. 面對使用者量的增長，記錄數3W倍的增長，如何保證這些記錄能夠在比較快的時間內進入儲存介質。

　  2. 應對使用者量的增長，如何在規定的時間內完成採集，增加硬體裝置處理能力還是使用更多的伺服器來處理請求。

     3. 伺服器的增長，是否能夠支援現有的擴充能力。

架構實現：

使用到的技術項：

     1. 面向服務開發思維

     2. 佇列服務

     3. 多任務並發執行

     4. 分布式服務管理

     5. Redis的應用

     6. 資料分表（分區）的實現和應用

     7. Redis非同步延遲同步到資料庫

架構圖如下：

具體實現：

     1. 佇列服務可以採用HttpsQs

     2. 多任務並發執行，PHP版可採用ParallelCurl，可控制並發數量

     3. 可使用PHP Redis實現對Redis的操作

     4. 資料表分表或者分區，可自行動手寫個，原理很簡單，需要指導的可以發私密信

 

總結：

      整個方案不是很複雜，在處理大資料方向這塊，基本的原理都是一樣，把不可控的因素要把握住，所以在多任務並發這塊一定要控制到合理的數量，另外Redis緩衝也支援分布式叢集，增加Redis伺服器並不會影響上層代碼的改變，相對來說擴容能力還是相對不錯。

高並發資料擷取的架構應用（Redis的應用）