IOCP模型總結（總結回顧）

標籤：iocp   安全執行緒   線程池   非同步   網路模型   

IOCP舊代碼重提，最近一直在玩其他方面的東東，時不時回顧一下，收益多多。

IOCP（I/O Completion Port，I/O完成連接埠）是效能最好的一種I/O模型。它是應用程式使用線程池處理非同步I/O請求的一種機制。在處理多個並發的非同步I/O請求時，以往的模型都是在接收請求是建立一個線程來應答請求。這樣就有很多的線程並行地運行在系統中。而這些線程都是可啟動並執行，Windows核心花費大量的時間在進行線程的環境切換，並沒有多少時間花線上程運行上。再加上建立新線程的開銷比較大，所以造成了效率的低下。

調用的步驟如下:
抽象出一個完成連接埠大概的處理流程：
1：建立一個完成連接埠。
2：建立一個線程A。
3：A線程迴圈調用GetQueuedCompletionStatus()函數來得到IO操作結果，這個函數是個阻塞函數。
4：主線程迴圈裡調用accept等待用戶端串連上來。
5：主線程裡accept返回新串連建立以後，把這個新的通訊端控制代碼用CreateIoCompletionPort關聯到完成連接埠，然後發出一個非同步WSASend或者WSARecv調用，因為是非同步函數，WSASend/WSARecv會馬上返回，實際的發送或者接收資料的操作由WINDOWS系統去做。
6：主線程繼續下一次迴圈，阻塞在accept這裡等待用戶端串連。
7：WINDOWS系統完成WSASend或者WSArecv的操作，把結果發到完成連接埠。
8：A線程裡的GetQueuedCompletionStatus()馬上返回，並從完成連接埠取得剛完成的WSASend/WSARecv的結果。
9：在A線程裡對這些資料進行處理(如果處理過程很耗時，需要新開線程處理)，然後接著發出WSASend/WSARecv，並繼續下一次迴圈阻塞在GetQueuedCompletionStatus()這裡。
歸根到底概括完成連接埠模型一句話：
我們不停地發出非同步WSASend/WSARecv IO操作，具體的IO處理過程由WINDOWS系統完成，WINDOWS系統完成實際的IO處理後，把結果送到完成連接埠上（如果有多個IO都完成了，那麼就在完成連接埠那裡排成一個隊列）。我們在另外一個線程裡從完成連接埠不斷地取出IO操作結果，然後根據需要再發出WSASend/WSARecv IO操作。

而IOCP模型是事先開好了N個線程，儲存線上程池中，讓他們hold。然後將所有使用者的請求都投遞到一個完成連接埠上，然後N個背景工作執行緒逐一地從完成連接埠中取得使用者訊息並加以處理。這樣就避免了為每個使用者開一個線程。既減少了線程資源，又提高了線程的利用率。

完成連接埠模型是怎樣實現的呢？我們先建立一個完成連接埠（::CreateIoCompletioPort()）。然後再建立一個或多個背景工作執行緒，並指定他們到這個完成連接埠上去讀取資料。我們再將遠端連線的通訊端控制代碼關聯到這個完成連接埠（還是用::CreateIoCompletionPort()）。一切就OK了。

背景工作執行緒都幹些什麼呢？首先是調用::GetQueuedCompletionStatus()函數在關聯到這個完成連接埠上的所有通訊端上等待I/O的完成。再判斷完成了什麼類型的I/O。一般來說，有三種類型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我們到資料緩衝區內讀取資料後，再投遞一個或是多個同類型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。對讀取到的資料，我們可以按照自己的需要來進行相應的處理。

為此，我們需要一個以OVERLAPPED（重疊I/O）結構為第一個欄位的per-I/O資料自訂結構。

typedef struct _PER_IO_DATA
{
         OVERLAPPED ol;       // 重疊I/O結構
         char buf[BUFFER_SIZE];   // 資料緩衝區
         int nOperationType;         //I/O操作類型
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;

將一個PER_IO_DATA結構強制轉化成一個OVERLAPPED結構傳給::GetQueuedCompletionStatus()函數，返回的這個PER_IO_DATA結構的的nOperationType就是I/O操作的類型。當然，這些類型都是在投遞I/O請求時自己設定的。

這樣一個IOCP伺服器的架構就出來了。當然，要做一個好的IOCP伺服器，還有考慮很多問題，如記憶體資源管理、接受串連的方法、惡意的客戶串連、包的重排序等等。以上是個人對於IOCP模型的一些理解與看法，還有待完善。另外各Winsock API的用法參見MSDN。

補充IOCP模型的實現：

//建立一個完成連接埠
HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );

//接受遠端連線，並把這個串連的socket控制代碼綁定到剛才建立的IOCP上
AConnect = accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 );

//建立CPU數*2 + 2個線程
SYSTEM_INFO si;
GetSystemInfo(&si);
for (int i=1;si.dwNumberOfProcessors*2+2;i++)
{
   AThread = TRecvSendThread.Create( false );
   AThread.CompletPort = FCompletPort;//告訴這個線程，你要去這個IOCP去訪問資料
}

OK，就這麼簡單，我們要做的就是建立一個IOCP，把遠端連線的socket控制代碼綁定到剛才建立的IOCP上，最後建立n個線程，並告訴這n個線程到這個IOCP上去訪問資料就可以了。

再看一下TRecvSendThread線程都幹些什麼：

void TRecvSendThread.Execute(...)
{
   while (!self.Terminated)
   {
     //查詢IOCP狀態（資料讀寫操作是否完成）
     GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );

     if (BytesTransd !=0) .......
       ....;//資料讀寫操作完成

     //再投遞一個讀資料請求
     WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );
   }
}

讀寫線程只是簡單地檢查IOCP是否完成了我們投遞的讀寫操作，如果完成了則再投遞一個新的讀寫請求。
應該注意到，我們建立的所有TRecvSendThread都在訪問同一個IOCP（因為我們只建立了一個IOCP），並且我們沒有使用臨界區！難道不會產生衝突嗎？不用考慮同步問題嗎？
呵呵，這正是IOCP的奧妙所在。IOCP不是一個普通的對象，不需要考慮安全執行緒問題。它會自動調配訪問它的線程：如果某個socket上有一個線程A正在訪問，那麼線程B的訪問請求會被分配到另外一個socket。這一切都是由系統自動調配的，我們無需過問。

執行個體:

簡單實現，適合IOCP入門
參考：《WINDOWS網路與通訊程式設計》

 

/******************************************************************
*
*
* 檔案名稱：IOCPHeader.h
* 摘   要： IOCP定義檔案
*
* 作    者：Jeson Yang
* 完成日期：2009-3-21
*
* 取代版本：
* 原
* 完成日期：
*
******************************************************************/

#ifndef _IOCPHEADER_H_20080916_
#define _IOCPHEADER_H_20080916_

#include <WINSOCK2.H>
#include <windows.h>

#define BUFFER_SIZE 1024

/******************************************************************
* per_handle 資料
*******************************************************************/
typedef struct _PER_HANDLE_DATA
{
    SOCKET      s;      // 對應的通訊端控制代碼
    sockaddr_in addr;   // 對方的地址

}PER_HANDLE_DATA, *PPER_HANDLE_DATA;

/******************************************************************
* per_io 資料
*******************************************************************/
typedef struct _PER_IO_DATA
{
    OVERLAPPED ol;                 // 重疊結構
    char        buf[BUFFER_SIZE];   // 資料緩衝區
    int         nOperationType;     // 操作類型

#define OP_READ   1
#define OP_WRITE 2
#define OP_ACCEPT 3

}PER_IO_DATA, *PPER_IO_DATA;

#endif

/******************************************************************
*
*
* 檔案名稱：main.cpp
* 摘   要： iocp demo
*
* 目前的版本：1.0
* 作    者：Jeson Yang
* 完成日期：2009-3-21
*
* 取代版本：
* 原
* 完成日期：
*
******************************************************************/

#include <iostream>
#include <string>
#include "IOCPHeader.h"
using namespace std;

DWORD WINAPI ServerThread( LPVOID lpParam );

int main( int argc, char *argv[] )
{
    //////////////////////////////////////////////////////////////////////////  
    WSADATA wsaData;

    if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )
    {
        printf( "Using %s (Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus );
        printf( "with API versions: %d.%d to %d.%d",
                 LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),
                 LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );

        return -1;
    }
    else
    {
        printf("Windows sockets 2.2 startup\n");
    }
    //////////////////////////////////////////////////////////////////////////

    int nPort = 20055;

    // 建立完成連接埠對象
    // 建立背景工作執行緒處理完成連接埠對象的事件
    HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );
    ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );

    // 建立監聽通訊端，綁定本地連接埠，開始監聽
    SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );

    SOCKADDR_IN addr;
    addr.sin_family = AF_INET;
    addr.sin_port = ::htons( nPort );
    addr.sin_addr.S_un.S_addr = INADDR_ANY;
    ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
    ::listen( sListen, 5 );

    printf( "iocp demo start......\n" );

    // 迴圈處理到來的請求
    while ( TRUE )
    {
        // 等待接受未決的串連請求
        SOCKADDR_IN saRemote;
        int nRemoteLen = sizeof( saRemote );
        SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );

        // 接受到新串連之後，為它建立一個per_handle資料，並將他們關聯到完成連接埠對象
        PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );
        if( pPerHandle == NULL )
        {
            break;
        }

        pPerHandle->s = sRemote;
        memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );

        ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );

        // 投遞一個接受請求
        PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );
        if( pIoData == NULL )
        {
            break;
        }

        pIoData->nOperationType = OP_READ;
        WSABUF buf;
        buf.buf = pIoData->buf;
        buf.len = BUFFER_SIZE;
        
        DWORD dwRecv = 0;
        DWORD dwFlags = 0;

        ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );

    }

    //////////////////////////////////////////////////////////////////////////
ERROR_PROC:
    WSACleanup();
    //////////////////////////////////////////////////////////////////////////

    return 0;
}

/******************************************************************
* 函數介紹：處理完成連接埠對象事件的線程
* 輸入參數：
* 輸出參數：
* 返回值 ：
*******************************************************************/
DWORD WINAPI ServerThread( LPVOID lpParam )
{
    HANDLE hIocp = ( HANDLE )lpParam;
    if( hIocp == NULL )
    {
        return -1;
    }

    DWORD dwTrans = 0;
    PPER_HANDLE_DATA pPerHandle;
    PPER_IO_DATA     pPerIo;
    
    while( TRUE )
    {
        // 在關聯到此完成連接埠的所有通訊端上等待I/O完成
        BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );
        if( !bRet )     // 發生錯誤
        {
            ::closesocket( pPerHandle->s );
            ::GlobalFree( pPerHandle );
            ::GlobalFree( pPerIo );

            cout << "error" << endl;
            continue;
        }

        // 通訊端被對方關閉
        if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;== OP_WRITE ) )
        {
            ::closesocket( pPerHandle->s );
            ::GlobalFree( pPerHandle );
            ::GlobalFree( pPerIo );

            cout << "client closed" << endl;
            continue;
        }

        switch ( pPerIo->nOperationType )
        {
        case OP_READ:       // 完成一個接收請求
            {
                pPerIo->buf[dwTrans] = ‘\0‘;
                printf( "%s\n", pPerIo->buf );

                // 繼續投遞接受操作
                WSABUF buf;
                buf.buf = pPerIo->buf;
                buf.len = BUFFER_SIZE;
                pPerIo->nOperationType = OP_READ;
                
                DWORD dwRecv = 0;
                DWORD dwFlags = 0;
                
                ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );

            }
            break;
        case OP_WRITE:
        case OP_ACCEPT:
            break;

        }

    }

    return 0;
}