高並發的epoll+線程池，業務線上程池內

我們知道，伺服器並行存取模型通常可分為單線程和多執行緒模式，這裡的線程通常是指“I/O線程”，即負責I/O操作，協調分配任務的“管理線程”，而實際的請求和任務通常交由所謂“工作者線程”處理。通常多執行緒模式下，每個線程既是I/O線程又是工作者線程。所以這裡討論的是，單I/O線程+多工作者線程的模型，這也是最常用的一種伺服器並行存取模型。我所在的項目中的server代碼中，這種模型隨處可見。它還有個名字，叫“半同步/半非同步“模型，同時，這種模型也是生產者/消費者（尤其是多消費者）模型的一種表現。

這種架構主要是基於I/O多工思想（主要是epoll，select/poll已淘汰），通過單線程I/O多工，可以達到高效並發，同時避免了多線程I/O來回切換的各種開銷，思路清晰，易於管理，而基於線程池的多工作者線程，又可以充分發揮和利用多線程的優勢，利用線程池，進一步提高資源複用性和避免產生過多線程。

 

1 模型架構

 

 

2 實現要點

2.1 單I/O 線程epoll

實現單I/O線程的epoll模型是本架構的第一個技術要點，主要思想如下： 

單線程建立epoll並等待，有I/O請求（socket）到達時，將其加入epoll並從線程池中取一個空閑工作者線程，將實際的任務交由工作者線程處理。

偽碼： 建立一個epoll執行個體;
while(server running)
{
    epoll等待事件;
     if(新串連到達且是有效串連)
    {
        accept此串連;
        將此串連設定為non-blocking;
        為此串連設定event(EPOLLIN | EPOLLET ...);
        將此串連加入epoll監聽隊列;
        從線程池取一個空閑工作者線程並處理此串連;
    }
     else  if(讀請求)
    {
        從線程池取一個空閑工作者線程並處理讀請求;
    }
     else  if(寫請求)
    {
        從線程池取一個空閑工作者線程並處理寫請求;
    }
     else
        其他事件;     
}

偽碼可能寫的不太好，其實就是基本的epoll使用。

但要注意和線程池的配合使用，如果線程池取不到閒置工作者線程，還需要做一些處理。

 

2.2 線程池實現要點

server啟動時，建立一定數量的工作者線程加入線程池，如（20個），供I/O線程來取用；

每當I/O線程請求空閑工作者線程時，從池中取出一個空閑工作者線程，處理相應請求；

當請求處理完畢，關閉相應I/O串連時，回收相應線程並放回線程池中供下次使用；

若請求空閑工作者線程池時，沒有空閑工作者線程，可作如下處理：

(1)若池中"管理"的線程總數不超過最大允許值，可建立一批新的工作者線程加入池中，並返回其中一個供I/O線程使用；

(2)若池中"管理"的線程總數已經達到最大值，不應再繼續建立新線程， 則等待一小段時間並重試。注意因為I/O線程是單線程且不應被阻塞等待在此處，所以其實對線程池的管理應由一個專門的管理線程完成，包括建立新工作者線程等工作。此時管理線程阻塞等待（如使用條件變數並等待喚醒），一小段時間之後，線程池中應有空閑工作者線程可使用。否則server負荷估計是出了問題。 

epoll是linux下高並發伺服器的完美方案，因為是基於事件觸發的，所以比select快的不只是一個數量級。 單線程epoll，觸發量可達到15000，但是加上業務後，因為大多數業務都與資料庫打交道，所以就會存在阻塞的情況，這個時候就必須用多線程來提速。   業務線上程池內，這裡要加鎖才行。測試結果2300個/s   測試載入器：stressmark 因為加了適用與ab的代碼，所以也可以適用ab進行壓力測試。 char buf[1000] = {0};
sprintf(buf,"HTTP/1.0 200 OK\r\nContent-type: text/plain\r\n\r\n%s","Hello world!\n");
send(socketfd,buf, strlen(buf),0);    

#include <iostream> #include <sys/socket.h> #include <sys/epoll.h> #include <netinet/in.h> #include <arpa/inet.h> #include <fcntl.h> #include <unistd.h> #include <stdio.h> #include <pthread.h> #include <errno.h>   #define MAXLINE 10 #define OPEN_MAX 100 #define LISTENQ 20 #define SERV_PORT 8006 #define INFTIM 1000   //線程池任務隊列結構體 struct task{   int fd; //需要讀寫的檔案描述符   struct task *next; //下一個任務 };   //用於讀寫兩個的兩個方面傳遞參數 struct user_data{   int fd;   unsigned int n_size;   char line[MAXLINE]; };   //線程的任務函數 void * readtask(void *args); void * writetask(void *args);     //聲明epoll_event結構體的變數,ev用於註冊事件,數組用於回傳要處理的事件 struct epoll_event ev,events[20]; int epfd; pthread_mutex_t mutex; pthread_cond_t cond1; struct task *readhead=NULL,*readtail=NULL,*writehead=NULL;   void setnonblocking(int sock) {      int opts;      opts=fcntl(sock,F_GETFL);      if(opts<0)      {           perror("fcntl(sock,GETFL)");           exit(1);      }     opts = opts|O_NONBLOCK;      if(fcntl(sock,F_SETFL,opts)<0)      {           perror("fcntl(sock,SETFL,opts)");           exit(1);      }  }   int main() {      int i, maxi, listenfd, connfd, sockfd,nfds;      pthread_t tid1,tid2;           struct task *new_task=NULL;      struct user_data *rdata=NULL;      socklen_t clilen;           pthread_mutex_init(&mutex,NULL);      pthread_cond_init(&cond1,NULL);      //初始化用於讀線程池的線程      pthread_create(&tid1,NULL,readtask,NULL);      pthread_create(&tid2,NULL,readtask,NULL);           //產生用於處理accept的epoll專用的檔案描述符       epfd=epoll_create(256);        struct sockaddr_in clientaddr;      struct sockaddr_in serveraddr;      listenfd = socket(AF_INET, SOCK_STREAM, 0);      //把socket設定為非阻塞方式      setnonblocking(listenfd);      //設定與要處理的事件相關的檔案描述符      ev.data.fd=listenfd;      //設定要處理的事件類型      ev.events=EPOLLIN|EPOLLET;      //註冊epoll事件      epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);           bzero(&serveraddr, sizeof(serveraddr));       serveraddr.sin_family = AF_INET;       serveraddr.sin_port=htons(SERV_PORT);      serveraddr.sin_addr.s_addr = INADDR_ANY;      bind(listenfd,(sockaddr *)&serveraddr, sizeof(serveraddr));      listen(listenfd, LISTENQ);           maxi = 0;      for ( ; ; ) {           //等待epoll事件的發生           nfds=epoll_wait(epfd,events,20,500);           //處理所發生的所有事件          for(i=0;i<nfds;++i)         {                if(events[i].data.fd==listenfd)                {