《大規模 web服務開發》筆記

大規模服務：
    可擴充，負載平衡，保證冗餘，低營運成本，開發人數和開發方法的變化
資料處理：
    磁碟—>記憶體—>緩衝—>CPU
障礙：
    持續增長的服務，”無法在記憶體中計算“（記憶體要比磁碟快10^5~10^6倍）
 
Linux的頁面緩衝：
    先把磁碟內容讀入記憶體
    ——>建立頁面
    建立好的頁面不會釋放而是儲存下來
    ——>頁面緩衝
    除了例外情況，頁面緩衝會透明地作用在所有I/O上
    ——>例外的情況為負責磁碟緩衝部分（VFS）
 
VFS(Virtual File System）：虛擬檔案系統VFS作為一個抽象層，統一各個檔案系統不同的函數，使之擁有共同介面，從而使用同樣的機制同樣的進行緩衝，實現頁面緩衝以提高效能。
 
LRU(Least Recent Used)：放棄最老的內容，留下最新的內容（其實就是個隊列）。
 
sar工具：①追溯過去的統計資料 ②周期性地查看當前資料（詳細內容見sar命令小結，麥庫bigdata）
 
CPU擴充比較簡單，可以藉助於：
    增加相同結構的伺服器，通過負載平衡器來進行分散；
    Web、應用程式伺服器、爬蟲
I/O負載的擴充十分困難，可藉助於：
    資料庫；
    大規模資料
 
處理大規模資料的重點：
    能在記憶體中完成多少？
        將磁碟尋道次數降到最低
        可以實現分布式、有效利用局部性
    能應對資料量增加的演算法和資料結構
        例如：線性搜尋——>二叉樹搜尋
                    O(n)--->O(log n)
        資料壓縮 資訊搜尋技術
 
處理大規模資料中，程式開發的底層基礎
    演算法、壓縮和搜尋
 
寫程式在處理大規模資料之前：
    注意作業系統緩衝
    以分布式為前提的RDBMS應用
    演算法和資料結構
 
以頁面緩衝為基礎的營運的基本規則
    作業系統剛啟動時不要將伺服器投入生產環境
    效能測試最好在緩衝最佳化後進行