使用C++實現一個LRU cache，lrucache

使用C++實現一個LRU cache，lrucache
什麼是LRU Cache

LRU是Least Recently Used的縮寫，意思是最近最少使用，它是一種Cache替換演算法。什麼是Cache？狹義的Cache指的是位於CPU和主存間的快速RAM，通常它不像系統主存那樣使用DRAM技術，而使用昂貴但較快速的SRAM技術。廣義上的Cache指的是位於速度相差較大的兩種硬體之間，用於協調兩者資料轉送速度差異的結構。除了CPU與主存之間有Cache，記憶體與硬碟之間也有Cache，乃至在硬碟與網路之間也有某種意義上的Cache──稱為Internet臨時檔案夾或網路內容緩衝等。

Cache的容量有限，因此當Cache的容量用完後，而又有新的內容需要添加進來時，就需要挑選並捨棄原有的部分內容，從而騰出空間來放新內容。LRU Cache的替換原則就是將最近最少使用的內容替換掉。其實，LRU譯成最久未使用會更形象，因為該演算法每次替換掉的就是一段時間內最久沒有使用過的內容。

資料結構

LRU的典型實現是hash map + doubly linked list，雙向鏈表用於儲存資料結點，並且它是按照結點最近被使用的時間來儲存的。如果一個結點被訪問了，我們有理由相信它在接下來的一段時間被訪問的機率要大於其它結點。於是，我們把它放到雙向鏈表的頭部。當我們往雙向鏈表裡插入一個結點，我們也有可能很快就會使用到它，同樣把它插入到頭部。我們使用這種方式不斷地調整著雙向鏈表，鏈表尾部的結點自然也就是最近一段時間，最久沒有使用到的結點。那麼，當我們的Cache滿了，需要替換掉的就是雙向鏈表中最後的那個結點(不是尾結點，頭尾結點不儲存實際內容)。

如下是雙向鏈表，注意頭尾結點不儲存實際內容：

頭 --> 結 --> 結 --> 結 --> 尾結       點        點       點       結點 <-- 1  <-- 2 <-- 3  <-- 點

假如Cache已滿了，我們要替換的就是結點3。

雜湊表的作用是什麼呢？如果沒有雜湊表，我們要訪問某個結點，就需要順序地一個個找，時間複雜度是O(n)。使用雜湊表可以讓我們在O(1)的時間找到想要訪問的結點，或者返回未找到。

Cache介面

Cache主要有兩個介面：

T Get(K key);void Put(K key, T data);

當我們通過鍵值來訪問類型為T的資料時，調用Get函數。如果鍵值為key的資料已經在Cache中，那就返回該資料，同時將儲存該資料的結點移到雙向鏈表頭部。如果我們查詢的資料不在Cache中，我們就可以通過Put介面將資料插入雙向鏈表中。如果此時的Cache還沒滿，那麼我們將新結點插入到鏈表頭部，同時用雜湊表儲存結點的鍵值及結點地址對。如果Cache已經滿了，我們就將鏈表中的最後一個結點(注意不是尾結點)的內容替換為新內容，然後移動到頭部，更新雜湊表。

C++代碼

注意，hash map並不是C++標準的一部分，我使用的是Linux下g++ 4.6.1，hash_map放在/usr/include/c++/4.6/ext下，需要使用__gnu_cxx名空間，Linux平台可以切換到c++的include目錄：cd /usr/include/c++/版本然後grep -iR “hash_map” ./查看在哪個檔案中，一般標頭檔的最後幾行會提示它所在的名空間。其它平台請自行探索。XD

當然如果你已經很fashion地在使用C++ 11，就不會有這些小困擾了。

// A simple LRU cache written in C++// Hash map + doubly linked list#include <iostream>#include <vector>#include <ext/hash_map>using namespace std;using namespace __gnu_cxx;template <class K, class T>struct Node{    K key;    T data;    Node *prev, *next;};template <class K, class T>class LRUCache{public:    LRUCache(size_t size){        entries_ = new Node<K,T>[size];        for(int i=0; i<size; ++i)// 儲存可用結點的地址            free_entries_.push_back(entries_+i);        head_ = new Node<K,T>;        tail_ = new Node<K,T>;        head_->prev = NULL;        head_->next = tail_;        tail_->prev = head_;        tail_->next = NULL;    }    ~LRUCache(){        delete head_;        delete tail_;        delete[] entries_;    }    void Put(K key, T data){        Node<K,T> *node = hashmap_[key];        if(node){ // node exists            detach(node);            node->data = data;            attach(node);        }        else{            if(free_entries_.empty()){// 可用結點為空白，即cache已滿                node = tail_->prev;                detach(node);                hashmap_.erase(node->key);            }            else{                node = free_entries_.back();                free_entries_.pop_back();            }            node->key = key;            node->data = data;            hashmap_[key] = node;            attach(node);        }    }    T Get(K key){        Node<K,T> *node = hashmap_[key];        if(node){            detach(node);            attach(node);            return node->data;        }        else{// 如果cache中沒有，返回T的預設值。與hashmap行為一致            return T();        }    }private:    // 分離結點    void detach(Node<K,T>* node){        node->prev->next = node->next;        node->next->prev = node->prev;    }    // 將結點插入頭部    void attach(Node<K,T>* node){        node->prev = head_;        node->next = head_->next;        head_->next = node;        node->next->prev = node;    }private:    hash_map<K, Node<K,T>* > hashmap_;    vector<Node<K,T>* > free_entries_; // 儲存可用結點的地址    Node<K,T> *head_, *tail_;    Node<K,T> *entries_; // 雙向鏈表中的結點};int main(){    hash_map<int, int> map;    map[9]= 999;    cout<<map[9]<<endl;    cout<<map[10]<<endl;    LRUCache<int, string> lru_cache(100);    lru_cache.Put(1, "one");    cout<<lru_cache.Get(1)<<endl;    if(lru_cache.Get(2) == "")        lru_cache.Put(2, "two");    cout<<lru_cache.Get(2);    return 0;}

解析：
首先使用鏈表來管理所有的已經使用或正在使用的節點（也就是實體記憶體頁），剛開始分配了一些節點，存放在向量中，在緩衝沒有使用完之前都是在向量中存放著，當向量中
的緩衝使用完了，那麼就必須從鏈表中的最後一個取出來當做新的節點來使用。在尋找節點在鏈表中的位置時，如果每次都是從頭來尋找的話，效率會很低，所以使用了
hash_map來管理鏈表中的所有節點，hash_map中都是使用過的節點，在尋找時很方便。

怎用c++實現一個lru cache

其實關鍵不在於用C++還是什麼，關於在於演算法
一般可以使用一個map和一個雙向鏈表來實現lru
 
舉例說明用LRU替換策略cache命中率怎計算

沒法算啊，這個怎麼算啊，這個是內容相關的，跟內容局部性密切相關。不知道你是設計軟體cache還是硬體cpu cache。。。
要是後者的話，一般cache size/code size>4/1000的話，cache命中率會達到90%以上，也就是說cache大小很影響命中率，其他還受相聯度啊cache line size啊之類的影響。一般相聯度可以是4路、8路、64路，cache line可以是8B、16B、32B、64B，具體取捨需要弄個具體代碼進行實測，類似跑個benchmark
要是前者的話，嗯嗯。。訪cache行為的局部性很重要，並行線程越多，訪cache的地址越離散，對替換的效率要求越高，不過軟體實現LRU比較麻煩哎。。。隨機或round-robin算了吧
說了半天。。好像沒有回答你的問題。。呵呵呵