Java NIO API詳解

詳解 在JDK 1.4以前，Java的IO操作集中在java.io這個包中，是基於流的同步（blocking）API。對於大多數應用來說，這樣的API使用很方便，然而，一些對效能要求較高的應用，尤其是服務端應用，往往需要一個更為有效方式來處理IO。從JDK 1.4起，NIO API作為一個基於緩衝區，並能提供非同步(non-blocking)IO操作的API被引入。本文對其進行深入的介紹。



NIO API主要集中在java.nio和它的subpackages中：



java.nio

定義了Buffer及其資料類型相關的子類。其中被java.nio.channels中的類用來進行IO操作的ByteBuffer的作用非常重要。



java.nio.channels

定義了一系列處理IO的Channel介面以及這些介面在檔案系統和網路通訊上的實現。通過Selector這個類，還提供了進行非同步IO操作的辦法。這個包可以說是NIO API的核心。



java.nio.channels.spi

定義了可用來實現channel和selector API的抽象類別。



java.nio.charset

定義了處理字元編碼和解碼的類。



java.nio.charset.spi

定義了可用來實現charset API的抽象類別。



java.nio.channels.spi和java.nio.charset.spi這兩個包主要被用來對現有NIO API進行擴充，在實際的使用中，我們一般只和另外的3個包打交道。下面將對這3個包一一介紹。



Package java.nio

這個包主要定義了Buffer及其子類。Buffer定義了一個線性存放primitive type資料的容器介面。對於除boolean以外的其他primitive type，都有一個相應的Buffer子類，ByteBuffer是其中最重要的一個子類。



下面這張UML類圖描述了java.nio中的類的關係：






Buffer

定義了一個可以線性存放primitive type資料的容器介面。Buffer主要包含了與類型（byte, char…）無關的功能。值得注意的是Buffer及其子類都不是安全執行緒的。



每個Buffer都有以下的屬性：



capacity

這個Buffer最多能放多少資料。capacity一般在buffer被建立的時候指定。

limit

在Buffer上進行的讀寫操作都不能越過這個下標。當寫資料到buffer中時，limit一般和capacity相等，當讀資料時，limit代表buffer中有效資料的長度。

position

讀/寫操作的當前下標。當使用buffer的相對位置進行讀/寫操作時，讀/寫會從這個下標進行，並在操作完成後，buffer會更新下標的值。

mark

一個臨時存放的位置下標。調用mark()會將mark設為當前的position的值，以後調用reset()會將position屬性設定為mark的值。mark的值總是小於等於position的值，如果將position的值設的比mark小，當前的mark值會被拋棄掉。



這些屬性總是滿足以下條件：

0 <= mark <= position <= limit <= capacity



limit和position的值除了通過limit()和position()函數來設定，也可以通過下面這些函數來改變：



Buffer clear()

把position設為0，把limit設為capacity，一般在把資料寫入Buffer前調用。

Buffer flip()

把limit設為當前position，把position設為0，一般在從Buffer讀出資料前調用。

Buffer rewind()

把position設為0，limit不變，一般在把資料重寫入Buffer前調用。



Buffer對象有可能是唯讀，這時，任何對該對象的寫操作都會觸發一個ReadOnlyBufferException。isReadOnly()方法可以用來判斷一個Buffer是否唯讀。



ByteBuffer

在Buffer的子類中，ByteBuffer是一個地位較為特殊的類，因為在java.io.channels中定義的各種channel的IO操作基本上都是圍繞ByteBuffer展開的。



ByteBuffer定義了4個static方法來做建立工作：



ByteBuffer allocate(int capacity)

建立一個指定capacity的ByteBuffer。

ByteBuffer allocateDirect(int capacity)

建立一個direct的ByteBuffer，這樣的ByteBuffer在參與IO操作時效能會更好（很有可能是在底層的實現使用了DMA技術），相應的，建立和回收direct的ByteBuffer的代價也會高一些。isDirect()方法可以檢查一個buffer是否是direct的。

ByteBuffer wrap(byte [] array)

ByteBuffer wrap(byte [] array, int offset, int length)

把一個byte數組或byte數組的一部分封裝成ByteBuffer。



ByteBuffer定義了一系列get和put操作來從中讀寫byte資料，如下面幾個：



byte get()

ByteBuffer get(byte [] dst)

byte get(int index)



ByteBuffer put(byte b)

ByteBuffer put(byte [] src)

ByteBuffer put(int index, byte b)



這些操作可分為絕對位置和相對定為兩種，相對定位的讀寫操作依靠position來定位Buffer中的位置，並在操作完成後會更新position的值。

在其它類型的buffer中，也定義了相同的函數來讀寫資料，唯一不同的就是一些參數和傳回值的類型。



除了讀寫byte類型資料的函數，ByteBuffer的一個特別之處是它還定義了讀寫其它primitive資料的方法，如：



int getInt()

從ByteBuffer中讀出一個int值。

ByteBuffer putInt(int value)

寫入一個int值到ByteBuffer中。



讀寫其它類型的資料牽涉到位元組序問題，ByteBuffer會按其位元組序（大位元組序或小位元組序）寫入或讀出一個其它類型的資料（int,long…）。位元組序可以用order方法來取得和設定：



ByteOrder order()

返回ByteBuffer的位元組序。

ByteBuffer order(ByteOrder bo)

設定ByteBuffer的位元組序。



ByteBuffer另一個特別的地方是可以在它的基礎上得到其它類型的buffer。如：



CharBuffer asCharBuffer()

為當前的ByteBuffer建立一個CharBuffer的視圖。在該視圖buffer中的讀寫操作會按照ByteBuffer的位元組序作用到ByteBuffer中的資料上。



用這類方法建立出來的buffer會從ByteBuffer的position位置開始到limit位置結束，可以看作是這段資料的視圖。視圖buffer的readOnly屬性和direct屬性與ByteBuffer的一致，而且也只有通過這種方法，才可以得到其他資料類型的direct buffer。



ByteOrder

用來表示ByteBuffer位元組序的類，可將其看成java中的enum類型。主要定義了下面幾個static方法和屬性：



ByteOrder BIG_ENDIAN

代表大位元組序的ByteOrder。

ByteOrder LITTLE_ENDIAN

代表小位元組序的ByteOrder。

ByteOrder nativeOrder()

返回當前硬體平台的位元組序。



MappedByteBuffer

ByteBuffer的子類，是檔案內容在記憶體中的映射。這個類的執行個體需要通過FileChannel的map()方法來建立。





接下來看看一個使用ByteBuffer的例子，這個例子從標準輸入不停地讀入字元，當讀滿一行後，將收集的字元寫到標準輸出：

public static void main(String [] args)

throws IOException

{

// 建立一個capacity為256的ByteBuffer

ByteBuffer buf = ByteBuffer.allocate(256);

while (true) {

// 從標準輸入資料流讀入一個字元

int c = System.in.read();

// 當讀到輸入資料流結束時，退出迴圈

if (c == -1)

break;



// 把讀入的字元寫入ByteBuffer中

buf.put((byte) c);

// 當讀完一行時，輸出收集的字元

if (c == '\n') {

// 調用flip()使limit變為當前的position的值,position變為0,

// 為接下來從ByteBuffer讀取做準備

buf.flip();

// 構建一個byte數組

byte [] content = new byte[buf.limit()];

// 從ByteBuffer中讀取資料到byte數組中

buf.get(content);

// 把byte數組的內容寫到標準輸出

System.out.print(new String(content));

// 調用clear()使position變為0,limit變為capacity的值，

// 為接下來寫入資料到ByteBuffer中做準備

buf.clear();

}

}

}






Package java.nio.channels

這個包定義了Channel的概念，Channel表現了一個可以進行IO操作的通道（比如，通過FileChannel，我們可以對檔案進行讀寫操作）。java.nio.channels包含了檔案系統和網路通訊相關的channel類。這個包通過Selector和SelectableChannel這兩個類，還定義了一個進行非同步（non-blocking）IO操作的API，這對需要高效能IO的應用非常重要。



下面這張UML類圖描述了java.nio.channels中interface的關係：






Channel

Channel表現了一個可以進行IO操作的通道，該interface定義了以下方法：



boolean isOpen()

該Channel是否是開啟的。

void close()

關閉這個Channel，相關的資源會被釋放。



ReadableByteChannel

定義了一個可從中讀取byte資料的channel interface。



int read(ByteBuffer dst)

從channel中讀取byte資料並寫到ByteBuffer中。返回讀取的byte數。



WritableByteChannel

定義了一個可向其寫byte資料的channel interface。



int write(ByteBuffer src)

從ByteBuffer中讀取byte資料並寫到channel中。返回寫出的byte數。



ByteChannel

ByteChannel並沒有定義新的方法，它的作用只是把ReadableByteChannel和WritableByteChannel合并在一起。



ScatteringByteChannel

繼承了ReadableByteChannel並提供了同時往幾個ByteBuffer中寫資料的能力。



GatheringByteChannel

繼承了WritableByteChannel並提供了同時從幾個ByteBuffer中讀資料的能力。



InterruptibleChannel

用來表現一個可以被非同步關閉的Channel。這表現在兩方面：

1． 當一個InterruptibleChannel的close()方法被調用時，其它block在這個InterruptibleChannel的IO操作上的線程會接收到一個AsynchronousCloseException。

2． 當一個線程block在InterruptibleChannel的IO操作上時，另一個線程調用該線程的interrupt()方法會導致channel被關閉，該線程收到一個ClosedByInterruptException，同時線程的interrupt狀態會被設定。





接下來的這張UML類圖描述了java.nio.channels中類的關係：






非同步IO

非同步IO的支援可以算是NIO API中最重要的功能，非同步IO允許應用程式同時監控多個channel以提高效能，這一功能是通過Selector，SelectableChannel和SelectionKey這3個類來實現的。



SelectableChannel代表了可以支援非同步IO操作的channel，可以將其註冊在Selector上，這種註冊的關係由SelectionKey這個類來表現（見UML圖）。Selector這個類通過select()函數，給應用程式提供了一個可以同時監控多個IO channel的方法：



應用程式通過調用select()函數，讓Selector監控註冊在其上的多個SelectableChannel，當有channel的IO操作可以進行時，select()方法就會返回以讓應用程式檢查channel的狀態，並作相應的處理。



下面是JDK 1.4中非同步IO的一個例子，這段code使用了非同步IO實現了一個time server：

private static void acceptConnections(int port) throws Exception {

// 開啟一個Selector

Selector acceptSelector =

SelectorProvider.provider().openSelector();



// 建立一個ServerSocketChannel，這是一個SelectableChannel的子類

ServerSocketChannel ssc = ServerSocketChannel.open();

// 將其設為non-blocking狀態，這樣才能進行非同步IO操作

ssc.configureBlocking(false);



// 給ServerSocketChannel對應的socket綁定IP和連接埠

InetAddress lh = InetAddress.getLocalHost();

InetSocketAddress isa = new InetSocketAddress(lh, port);

ssc.socket().bind(isa);



// 將ServerSocketChannel註冊到Selector上，返回對應的SelectionKey

SelectionKey acceptKey =

ssc.register(acceptSelector, SelectionKey.OP_ACCEPT);



int keysAdded = 0;



// 用select()函數來監控註冊在Selector上的SelectableChannel

// 傳回值代表了有多少channel可以進行IO操作 (ready for IO)

while ((keysAdded = acceptSelector.select()) > 0) {

// selectedKeys()返回一個SelectionKey的集合，

// 其中每個SelectionKey代表了一個可以進行IO操作的channel。

// 一個ServerSocketChannel可以進行IO操作意味著有新的TCP串連連入了

Set readyKeys = acceptSelector.selectedKeys();

Iterator i = readyKeys.iterator();



while (i.hasNext()) {

SelectionKey sk = (SelectionKey) i.next();

// 需要將處理過的key從selectedKeys這個集合中刪除

i.remove();

// 從SelectionKey得到對應的channel

ServerSocketChannel nextReady =

(ServerSocketChannel) sk.channel();

// 接受新的TCP串連

Socket s = nextReady.accept().socket();

// 把當前的時間寫到這個新的TCP串連中

PrintWriter out =

new PrintWriter(s.getOutputStream(), true);

Date now = new Date();

out.println(now);

// 關閉串連

out.close();

}

}

}


這是個純粹用於示範的例子，因為只有一個ServerSocketChannel需要監控，所以其實並不真的需要使用到非同步IO。不過正因為它的簡單，可以很容易地看清楚非同步IO是如何工作的。



SelectableChannel

這個抽象類別是所有支援非同步IO操作的channel（如DatagramChannel、SocketChannel）的父類。SelectableChannel可以註冊到一個或多個Selector上以進行非同步IO操作。



SelectableChannel可以是blocking和non-blocking模式（所有channel建立的時候都是blocking模式），只有non-blocking的SelectableChannel才可以參與非同步IO操作。



SelectableChannel configureBlocking(boolean block)

設定blocking模式。

boolean isBlocking()

返回blocking模式。



通過register()方法，SelectableChannel可以註冊到Selector上。



int validOps()

返回一個bit mask，表示這個channel上支援的IO操作。當前在SelectionKey中，用靜態常量定義了4種IO操作的bit值：OP_ACCEPT，OP_CONNECT，OP_READ和OP_WRITE。

SelectionKey register(Selector sel, int ops)

將當前channel註冊到一個Selector上並返回對應的SelectionKey。在這以後，通過調用Selector的select()函數就可以監控這個channel。ops這個參數是一個bit mask，代表了需要監控的IO操作。

SelectionKey register(Selector sel, int ops, Object att)

這個函數和上一個的意義一樣，多出來的att參數會作為attachment被存放在返回的SelectionKey中，這在需要存放一些session state的時候非常有用。

boolean isRegistered()

該channel是否登入在一個或多個Selector上。



SelectableChannel還提供了得到對應SelectionKey的方法：



SelectionKey keyFor(Selector sel)

返回該channe在Selector上的註冊關係所對應的SelectionKey。若無註冊關係，返回null。



Selector

Selector可以同時監控多個SelectableChannel的IO狀況，是非同步IO的核心。



Selector open()

Selector的一個靜態方法，用於建立執行個體。



在一個Selector中，有3個SelectionKey的集合：

1． key set代表了所有註冊在這個Selector上的channel，這個集合可以通過keys()方法拿到。

2． Selected-key set代表了所有通過select()方法監測到可以進行IO操作的channel，這個集合可以通過selectedKeys()拿到。

3． Cancelled-key set代表了已經cancel了註冊關係的channel，在下一個select()操作中，這些channel對應的SelectionKey會從key set和cancelled-key set中移走。這個集合無法直接存取。



以下是select()相關方法的說明：



int select()

監控所有註冊的channel，當其中有註冊的IO操作可以進行時，該函數返回，並將對應的SelectionKey加入selected-key set。

int select(long timeout)

可以設定逾時的select()操作。

int selectNow()

進行一個立即返回的select()操作。

Selector wakeup()

使一個還未返回的select()操作立刻返回。



SelectionKey

代表了Selector和SelectableChannel的註冊關係。



Selector定義了4個靜態常量來表示4種IO操作，這些常量可以進行位操作組合成一個bit mask。



int OP_ACCEPT

有新的網路連接可以accept，ServerSocketChannel支援這一非同步IO。

int OP_CONNECT

代表串連已經建立（或出錯），SocketChannel支援這一非同步IO。

int OP_READ

int OP_WRITE

代表了讀、寫操作。



以下是其主要方法：



Object attachment()

返回SelectionKey的attachment，attachment可以在註冊channel的時候指定。

Object attach(Object ob)

設定SelectionKey的attachment。

SelectableChannel channel()

返回該SelectionKey對應的channel。

Selector selector()

返回該SelectionKey對應的Selector。

void cancel()

cancel這個SelectionKey所對應的註冊關係。

int interestOps()

返回代表需要Selector監控的IO操作的bit mask。

SelectionKey interestOps(int ops)

設定interestOps。

int readyOps()

返回一個bit mask，代表在相應channel上可以進行的IO操作。



ServerSocketChannel

支援非同步作業，對應於java.net.ServerSocket這個類，提供了TCP協議IO介面，支援OP_ACCEPT操作。



ServerSocket socket()

返回對應的ServerSocket對象。

SocketChannel accept()

接受一個串連，返回代表這個串連的SocketChannel對象。



SocketChannel

支援非同步作業，對應於java.net.Socket這個類，提供了TCP協議IO介面，支援OP_CONNECT，OP_READ和OP_WRITE操作。這個類還實現了ByteChannel，ScatteringByteChannel和GatheringByteChannel介面。

DatagramChannel和這個類比較相似，其對應於java.net.DatagramSocket，提供了UDP協議IO介面。



Socket socket()

返回對應的Socket對象。

boolean connect(SocketAddress remote)

boolean finishConnect()

connect()進行一個串連操作。如果當前SocketChannel是blocking模式，這個函數會等到串連操作完成或錯誤發生才返回。如果當前SocketChannel是non-blocking模式，函數在串連能立刻被建立時返回true，否則函數返回false，應用程式需要在以後用finishConnect()方法來完成串連操作。



Pipe

包含了一個讀和一個寫的channel(Pipe.SourceChannel和Pipe.SinkChannel)，這對channel可以用於進程中的通訊。



FileChannel

用於對檔案的讀、寫、映射、鎖定等操作。和映射操作相關的類有FileChannel.MapMode，和鎖定操作相關的類有FileLock。值得注意的是FileChannel並不支援非同步作業。



Channels

這個類提供了一系列static方法來支援stream類和channel類之間的互操作。這些方法可以將channel類封裝為stream類，比如，將ReadableByteChannel封裝為InputStream或Reader；也可以將stream類封裝為channel類，比如，將OutputStream封裝為WritableByteChannel。





Package java.nio.charset

這個包定義了Charset及相應的encoder和decoder。下面這張UML類圖描述了這個包中類的關係，可以將其中Charset，CharsetDecoder和CharsetEncoder理解成一個Abstract Factory模式的實現：






Charset

代表了一個字元集，同時提供了factory method來構建相應的CharsetDecoder和CharsetEncoder。



Charset提供了以下static的方法：



SortedMap availableCharsets()

返回當前系統支援的所有Charset對象，用charset的名字作為set的key。

boolean isSupported(String charsetName)

判斷該名字對應的字元集是否被當前系統支援。

Charset forName(String charsetName)

返回該名字對應的Charset對象。



Charset中比較重要的方法有：



String name()

返回該字元集的規範名。

Set aliases()

返回該字元集的所有別名。

CharsetDecoder newDecoder()

建立一個對應於這個Charset的decoder。

CharsetEncoder newEncoder()

建立一個對應於這個Charset的encoder。



CharsetDecoder

將按某種字元集編碼的位元組流解碼為unicode字元資料的引擎。



CharsetDecoder的輸入是ByteBuffer，輸出是CharBuffer。進行decode操作時一般按如下步驟進行：



1． 調用CharsetDecoder的reset()方法。（第一次使用時可不調用）

2． 調用decode()方法0到n次，將endOfInput參數設為false，告訴decoder有可能還有新的資料送入。

3． 調用decode()方法最後一次，將endOfInput參數設為true，告訴decoder所有資料都已經送入。

4． 調用decoder的flush()方法。讓decoder有機會把一些內部狀態寫到輸出的CharBuffer中。



CharsetDecoder reset()

重設decoder，並清除decoder中的一些內部狀態。

CoderResult decode(ByteBuffer in, CharBuffer out, boolean endOfInput)

從ByteBuffer類型的輸入中decode儘可能多的位元組，並將結果寫到CharBuffer類型的輸出中。根據decode的結果，可能返回3種CoderResult：CoderResult.UNDERFLOW表示已經沒有輸入可以decode；CoderResult.OVERFLOW表示輸出已滿；其它的CoderResult表示decode過程中有錯誤發生。根據返回的結果，應用程式可以採取相應的措施，比如，增加輸入，清除輸出等等，然後再次調用decode()方法。

CoderResult flush(CharBuffer out)

有些decoder會在decode的過程中保留一些內部狀態，調用這個方法讓這些decoder有機會將這些內部狀態寫到輸出的CharBuffer中。調用成功返回CoderResult.UNDERFLOW。如果輸出的空間不夠，該函數返回CoderResult.OVERFLOW，這時應用程式應該擴大輸出CharBuffer的空間，然後再次調用該方法。

CharBuffer decode(ByteBuffer in)

一個便捷的方法把ByteBuffer中的內容decode到一個新建立的CharBuffer中。在這個方法中包括了前面提到的4個步驟，所以不能和前3個函數一起使用。



decode過程中的錯誤有兩種：malformed-input CoderResult表示輸入中資料有誤；unmappable-character CoderResult表示輸入中有資料無法被解碼成unicode的字元。如何處理decode過程中的錯誤取決於decoder的設定。對於這兩種錯誤，decoder可以通過CodingErrorAction設定成：

1． 忽略錯誤

2． 報告錯誤。（這會導致錯誤發生時，decode()方法返回一個表示該錯誤的CoderResult。）

3． 替換錯誤，用decoder中的替換字串替換掉有錯誤的部分。



CodingErrorAction malformedInputAction()

返回malformed-input的出錯處理。

CharsetDecoder onMalformedInput(CodingErrorAction newAction)

設定malformed-input的出錯處理。

CodingErrorAction unmappableCharacterAction()

返回unmappable-character的出錯處理。

CharsetDecoder onUnmappableCharacter(CodingErrorAction newAction)

設定unmappable-character的出錯處理。

String replacement()

返回decoder的替換字串。

CharsetDecoder replaceWith(String newReplacement)

設定decoder的替換字串。



CharsetEncoder

將unicode字元資料編碼為特定字元集的位元組流的引擎。其介面和CharsetDecoder相類似。



CoderResult

描述encode/decode操作結果的類。



CodeResult包含兩個static成員：



CoderResult OVERFLOW

表示輸出已滿

CoderResult UNDERFLOW

表示輸入已無資料可用。



其主要的成員函數有：



boolean isError()

boolean isMalformed()

boolean isUnmappable()

boolean isOverflow()

boolean isUnderflow()

用於判斷該CoderResult描述的錯誤。



int length()

返回錯誤的長度，比如，無法被轉換成unicode的位元組長度。

void throwException()

拋出一個和這個CoderResult相對應的exception。



CodingErrorAction

表示encoder/decoder中錯誤處理方法的類。可將其看成一個enum類型。有以下static屬性：



CodingErrorAction IGNORE

忽略錯誤。

CodingErrorAction REPLACE

用替換字串替換有錯誤的部分。

CodingErrorAction REPORT

報告錯誤，對於不同的函數，有可能是返回一個和錯誤有關的CoderResult，也有可能是拋出一個CharacterCodingException。





參考文獻

David Flanagan – Java in a Nutshell