linux下epoll如何?高效處理百萬控制代碼的

開發高效能網路程式時，windows開發人員們言必稱iocp，linux開發人員們則言必稱epoll。大家都明白epoll是一種IO多工技術，可以非常高效的處理數以百萬計的socket控制代碼，比起以前的select和poll效率高大發了。我們用起epoll來都感覺挺爽，確實快，那麼，它到底為什麼可以高速處理這麼多並發串連呢？

先簡單回顧下如何使用C庫封裝的3個epoll系統調用吧。

int epoll_create(int size);int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);int epoll_wait(int epfd, struct epoll_event *events,int maxevents, int timeout);

使用起來很清晰，首先要調用epoll_create建立一個epoll對象。參數size是核心保證能夠正確處理的最大控制代碼數，多於這個最大數時核心可不保證效果。

epoll_ctl可以操作上面建立的epoll，例如，將剛建立的socket加入到epoll中讓其監控，或者把 epoll正在監控的某個socket控制代碼移出epoll，不再監控它等等。

epoll_wait在調用時，在給定的timeout時間內，當在監控的所有控制代碼中有事件發生時，就返回使用者態的進程。

從上面的調用方式就可以看到epoll比select/poll的優越之處：因為後者每次調用時都要傳遞你所要監控的所有socket給select/poll系統調用，這意味著需要將使用者態的socket列表copy到核心態，如果以萬計的控制代碼會導致每次都要copy幾十幾百KB的記憶體到核心態，非常低效。而我們調用epoll_wait時就相當於以往調用select/poll，但是這時卻不用傳遞socket控制代碼給核心，因為核心已經在epoll_ctl中拿到了要監控的控制代碼列表。

所以，實際上在你調用epoll_create後，核心就已經在核心態開始準備幫你儲存要監控的控制代碼了，每次調用epoll_ctl只是在往核心的資料結構裡塞入新的socket控制代碼。

在核心裡，一切皆檔案。所以，epoll向核心註冊了一個檔案系統，用於儲存上述的被監控socket。當你調用epoll_create時，就會在這個虛擬epoll檔案系統裡建立一個file結點。當然這個file不是普通檔案，它只服務於epoll。

epoll在被核心初始化時（作業系統啟動），同時會開闢出epoll自己的核心高速cache區，用於安置每一個我們想監控的socket，這些socket會以紅/黑樹狀結構的形式儲存在核心cache裡，以支援快速的尋找、插入、刪除。這個核心高速cache區，就是建立連續的實體記憶體頁，然後在之上建立slab層，簡單的說，就是物理上分配好你想要的size的記憶體對象，每次使用時都是使用閒置已指派好的對象。

static int __init eventpoll_init(void){... .../* Allocates slab cache used to allocate "struct epitem" items */epi_cache = kmem_cache_create("eventpoll_epi", sizeof(struct epitem),0, SLAB_HWCACHE_ALIGN|EPI_SLAB_DEBUG|SLAB_PANIC,NULL, NULL);/* Allocates slab cache used to allocate "struct eppoll_entry" */pwq_cache = kmem_cache_create("eventpoll_pwq",sizeof(struct eppoll_entry), 0,EPI_SLAB_DEBUG|SLAB_PANIC, NULL, NULL); ... ...

epoll的高效就在於，當我們調用epoll_ctl往裡塞入百萬個控制代碼時，epoll_wait仍然可以飛快的返回，並有效將發生事件的控制代碼給我們使用者。這是由於我們在調用epoll_create時，核心除了幫我們在epoll檔案系統裡建了個file結點，在核心cache裡建了個紅/黑樹狀結構用於儲存以後epoll_ctl傳來的socket外，還會再建立一個list鏈表，用於儲存準備就緒的事件，當epoll_wait調用時，僅僅觀察這個list鏈表裡有沒有資料即可。有資料就返回，沒有資料就sleep，等到timeout時間到後即使鏈表沒資料也返回。所以，epoll_wait非常高效。

而且，通常情況下即使我們要監控百萬計的控制代碼，大多一次也只返回很少量的準備就緒控制代碼而已，所以，epoll_wait僅需要從核心態copy少量的控制代碼到使用者態而已，如何能不高效？！

那麼，這個準備就緒list鏈表是怎麼維護的呢？當我們執行epoll_ctl時，除了把socket放到epoll檔案系統裡file對象對應的紅/黑樹狀結構上之外，還會給核心中斷處理常式註冊一個回呼函數，告訴核心，如果這個控制代碼的中斷到了，就把它放到準備就緒list鏈表裡。所以，當一個socket上有資料到了，核心在把網卡上的資料copy到核心中後就來把socket插入到準備就緒鏈表裡了。

如此，一顆紅/黑樹狀結構，一張準備就緒控制代碼鏈表，少量的核心cache，就幫我們解決了大並發下的socket處理問題。執行epoll_create時，建立了紅/黑樹狀結構和就緒鏈表，執行epoll_ctl時，如果增加socket控制代碼，則檢查在紅/黑樹狀結構中是否存在，存在立即返回，不存在則添加到樹榦上，然後向核心註冊回呼函數，用於當中斷事件來臨時向準備就緒鏈表中插入資料。執行epoll_wait時立刻返回準備就緒鏈表裡的資料即可。

最後看看epoll專屬的兩種模式LT和ET。無論是LT和ET模式，都適用於以上所說的流程。區別是，LT模式下，只要一個控制代碼上的事件一次沒有處理完，會在以後調用epoll_wait時次次返回這個控制代碼，而ET模式僅在第一次返回。

這件事怎麼做到的呢？當一個socket控制代碼上有事件時，核心會把該控制代碼插入上面所說的準備就緒list鏈表，這時我們調用epoll_wait，會把準備就緒的socket拷貝到使用者態記憶體，然後清空準備就緒list鏈表，最後，epoll_wait幹了件事，就是檢查這些socket，如果不是ET模式（就是LT模式的控制代碼了），並且這些socket上確實有未處理的事件時，又把該控制代碼放回到剛剛清空的準備就緒鏈表了。所以，非ET的控制代碼，只要它上面還有事件，epoll_wait每次都會返回。而ET模式的控制代碼，除非有新中斷到，即使socket上的事件沒有處理完，也是不會次次從epoll_wait返回的。