標籤:
前言 C10K problem提出了一個問題,如果1w個用戶端串連到server上,間歇性的發送訊息,有哪些好的方案? 其中的一種方案是,每個線程處理多個用戶端,使用非同步I/O和就緒通知機制,redis無疑是一個很好的榜樣
redis的特點和C10K proble的契合點 記憶體資料庫; 單線程支援上w個用戶端串連; 高並發,單機支援10w並發數; 低時延,區域網路內大多數時延低於3ms。
redis的檔案事件處理器
四個關鍵組成
通訊端、I/O多工、檔案事件分發器、事件處理器。 這是一個典型的reactor設計模式,redis沒有採用現有的事件驅動庫,比如libev等,而是自己定義了一個ae磁碟機。 使用epoll同時監聽多個通訊端,並給不同通訊端關聯不同的處理常式。 當被監聽的通訊端準備好串連應答、請求、應答、關閉等操作時,對應的檔案事件就會產生,檔案事件處理器會調用對應的處理常式。
I/O多工和檔案事件指派器的實現
epollI/O多工封裝
ae_epoll.c建立epoll執行個體和事件槽aeApiCreate釋放epoll執行個體和事件槽aeApiFree給fd新增或者修改關注事件aeApiAddEvent刪除fd關注的事件aeApiDelEvent擷取可執行事件aeApiPoll
ae.h
檔案事件處理器的執行個體typedef struct aeEventLoop { // 目前登入的最大描述符 int maxfd; /* highest file descriptor currently registered */ // 目前已追蹤的最大描述符 int setsize; /* max number of file descriptors tracked */ // 用於產生時間事件 id long long timeEventNextId; // 最後一次執行時間事件的時間 time_t lastTime; /* Used to detect system clock skew */ // 登入的檔案事件 aeFileEvent *events; /* Registered events */ // 已就緒的檔案事件 aeFiredEvent *fired; /* Fired events */ // 時間事件 aeTimeEvent *timeEventHead; // 事件處理器的開關 int stop; // 多工庫的私人資料 void *apidata; /* This is used for polling API specific data */ // 在處理事件前要執行的函數 aeBeforeSleepProc *beforesleep;} aeEventLoop;
檔案事件處理器以及檔案事件指派器的實現
ae.c初始設定檔案事件處理器aeCreateEventLoop刪除事件處理器aeDeleteEventLoop停止事件處理器aeStop建立檔案事件處理器aeCreateFileEvent刪除檔案事件處理器aeDeleteFileEvent擷取監聽的事件類型aeGetFileEvents檔案事件指派器,調用aePoll擷取啟用的事件,並呼叫事件對應的檔案處理器來處理這些事件aeProcessEvents
redis的I/O事件處理器
建立串連處理常式aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE, acceptTcpHandler,NULL)
建立請求處理常式aeCreateFileEvent(server.el,fd,AE_READABLE, readQueryFromClient, c)
建立應答處理常式,當命令回複完畢,解除通訊端和事件的關聯aeCreateFileEvent(server.el, c->fd, AE_WRITABLE, sendReplyToClient, c)
ae驅動的事件類型// 可讀#define AE_READABLE 1// 可寫#define AE_WRITABLE 2 當用戶端發起串連、中斷連線、發送請求時,通訊端產生AE_READABLE事件 當通訊端變得可寫(用戶端調用read操作)時,通訊端產生AE_WRITABLE事件。
ae驅動的事件處理順序 ae驅動允許同時監聽可讀和可寫事件,同時發生時先處理可讀事件,再處理可寫事件。
redis的檔案事件處理器