第三章 3.4 緩衝 Search Engine Caching

第三章 3.4 緩衝 Search Engine Caching 緩衝最佳化的核心思想是從避免無謂和重複的CPU計算、I/O調度來提高查詢器的輸送量。傳統的緩衝有兩級：一是對結果集的緩衝，紀錄了查詢的關鍵詞和返回結果。如果相同的關鍵詞被再次訪問將得到快速地響應，同時過濾導致重複查詢的計算量，提高系統的輸送量。另外一個是對倒排索引的緩衝，索引通常只保留最近、頻繁被訪問的索引段在記憶體中。這樣的兩級體系的優點在Rank-Preserving Two-Level Caching for Scalable Search Engines一文中做了詳細地分析。
要介紹的是三級緩衝結構:
第一級是結果緩衝
查詢分析器在記憶體和磁碟儲存了大量的查詢結果。分析所有的訪問日誌可以確定所有高頻查詢的關鍵詞結果，然後儲存起來。
第二級為集合緩衝
一般查詢的關鍵詞為一些詞的組合，例如：查詢的關鍵詞為A B C（檢索的邏輯為AND），包含關鍵詞A、B的各自命中文檔列表都很大，而包含C的文檔很少，不在一個數量級上，於是對A、B的交集結果進行緩衝，並跟蹤這些快取資料在叢集中的分布。這樣的最佳化是針對大於等於三個詞的情況，一般意義上看是在第一級緩衝基礎上的提升。
第三級為索引列表緩衝
記憶體總是有限的，無法匯入整個索引表，於是總是把最近/頻繁訪問到的索引置於記憶體中。