JAVA NIO 簡介

本文轉自：http://www.iteye.com/topic/834447

1.  基本概念

IO是主存和外部裝置(硬碟、終端和網路等)拷貝資料的過程。IO是作業系統的底層功能實現，底層通過I/O指令進行完成。

所有語言運行時系統提供執行I/O較進階別的工具。(c的printf scanf,java的物件導向封裝)

2.  Java 標準io回顧

Java標準IO類庫是io物件導向的一種抽象。基於本地方法的底層實現，我們無須關注底層實現。 InputStream\OutputStream(位元組流)：一次傳送一個位元組。 Reader\Writer(字元流)：一次一個字元。

3.  nio簡介

nio是java New IO的簡稱，在jdk1.4裡提供的新api。Sun官方標榜的特性如下：

–    為所有的原始類型提供(Buffer)緩衝支援。

–    字元集編碼解碼解決方案。

–    Channel：一個新的原始I/O抽象。

–    支援鎖和記憶體對應檔的檔案提供者。

–    提供多路(non-bloking)非阻塞式的高伸縮性網路I/O。

本文將圍繞這幾個特性進行學習和介紹。

4. Buffer&Chanel

Channel和buffer是NIO是兩個最基本的資料類型抽象。

Buffer:

–       是一塊連續的記憶體塊。

–       是NIO資料讀或寫的中轉地。

Channel:

–       資料的源頭或者資料的目的地

–       用於向buffer提供資料或者讀取buffer資料,buffer對象的唯一介面。

–       非同步I/O支援

圖1：channel和buffer關係
 

 

例子1:CopyFile.java:

package com.zxiaoyao.io;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;public class NioForCopyFile {public static void main(String[] args) {String infile = "D:/copy.sql";String outfile = "D:/copy.txt";//擷取源檔案和目標檔案的輸入輸出資料流FileInputStream fin;try {fin = new FileInputStream(infile);FileOutputStream fout = new FileOutputStream(outfile);//擷取輸入輸出通道FileChannel fcin = fin.getChannel();FileChannel fcout = fout.getChannel();//建立緩衝區ByteBuffer buffer = ByteBuffer.allocate(1024);while(true){//clear 方法重設緩衝區，她可以接受讀入的資料buffer.clear();int r = fcin.read(buffer);if(r == -1){break;}//flip 方法 讓緩衝區可以將新寫入的資料寫入另一個通道buffer.flip();//從輸入通道中將資料寫入緩衝區fcout.write(buffer);}} catch (FileNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}

 

其中buffer內部結構如下(拷貝自資料):

圖2：buffer內部結構 

一個buffer主要由position,limit,capacity三個變數來控制讀寫的過程。此三個變數的含義見如下表格：

參數	寫入模式	讀模式
position	當前寫入的單位元據數量。	當前讀取的單位元據位置。
limit	代表最多能寫多少單位元據和容量是一樣的。	代表最多能讀多少單位元據，和之前寫入的單位元據量一致。
capacity	buffer容量	buffer容量

Buffer常見方法：

flip():寫入模式轉換成讀模式

rewind()：將position重設為0，一般用於重複讀。

clear()：清空buffer，準備再次被寫入(position變成0，limit變成capacity)。

compact():將未讀取的資料拷貝到buffer的頭部位。

mark()、reset():mark可以標記一個位置，reset可以重設到該位置。

Buffer常見類型：ByteBuffer 、MappedByteBuffer 、CharBuffer 、DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer。

channel常見類型:FileChannel、DatagramChannel(UDP)、SocketChannel(TCP)、ServerSocketChannel(TCP)

在本機上面做了個簡單的效能測試。我的筆記本效能一般。(具體代碼可以見附件。見nio.sample.filecopy包下面的例子)以下是參考資料：

–       情境1： Copy一個370M的檔案

–       情境2: 三個線程同時拷貝，每個線程拷貝一個370M檔案

 

情境	FileInputStream+ FileOutputStream	FileInputStream+ BufferedInputStream+ FileOutputStream	ByteBuffer+ FileChannel	MappedByteBuffer +FileChannel
情境一時間(毫秒)	25155	17500	19000	16500
情境二時間(毫秒)	69000	67031	74031	71016

5.  nio.charset

字元編碼解碼:位元組碼本身只是一些數字，放到正確的上下文中被正確被解析。向ByteBuffer中存放資料時需要考慮字元集的編碼方式，讀取展示ByteBuffer資料時涉及對字元集解碼。

Java.nio.charset提供了編碼解碼一套解決方案。

以我們最常見的http請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下代碼向baidu發一次請求，並擷取結果進行顯示。例子示範到了charset的使用。

例子2BaiduReader.java

package com.zxiaoyao.io;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SocketChannel;import java.nio.charset.Charset;public class BaiduReader {private Charset charset = Charset.forName("GBK");private SocketChannel channel;public void readerHtml(){InetSocketAddress socketAddress = new InetSocketAddress("www.baidu.com",80);try {channel = SocketChannel.open(socketAddress);channel.write(charset.encode("GET "+"/ HTTP/1.1"+"\r\n\r\n"));ByteBuffer buffer = ByteBuffer.allocate(1024);while(channel.read(buffer)!= -1){buffer.flip();System.out.println(charset.decode(buffer));buffer.clear();}} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}public static void main(String[] args) {new BaiduReader().readerHtml();}}

 

6.   非阻塞 IO

關於非阻塞IO將從何為阻塞、何為非阻塞、非阻塞原理和非同步核心API幾個方面來理解。

何為阻塞？

一個常見的網路IO通訊流程如下:

 

圖3：網路通訊基本過程

從該網路通訊過程來理解一下何為阻塞:

在以上過程中若串連還沒到來，那麼accept會阻塞,程式運行到這裡不得不掛起，CPU轉而執行其他線程。

在以上過程中若資料還沒準備好，read會一樣也會阻塞。

阻塞式網路IO的特點：多執行緒多個串連。每個線程擁有自己的棧空間並且佔用一些CPU時間。每個線程遇到外部為準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的進程環境切換。且大部分進程環境切換可能是無意義的。比如假設一個線程監聽一個連接埠，一天只會有幾次請求進來，但是該cpu不得不為該線程不斷做環境切換嘗試，大部分的切換以阻塞告終。

 

何為非阻塞？

下面有個隱喻：

一輛從A開往B的公用汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對於需要下車的人，如何處理更好？

1.司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那麼司機停車，乘客下車。(類似阻塞式)

2.每個人告訴售票員自己的目的地，然後睡覺，司機只和售票員互動，到了某個點由售票員通知乘客下車。 (類似非阻塞)

很顯然，每個人要到達某個目的地可以認為是一個線程，司機可以認為是CPU。在阻塞式裡面，每個線程需要不斷的輪詢，環境切換，以達到找到目的地的結果。而在非阻塞方式裡，每個乘客(線程)都在睡覺(休眠)，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

 非阻塞的原理

把整個過程切換成小的任務，通過任務間協作完成。

由一個專門的線程來處理所有的IO事件，並負責分發。

事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。

線程通訊：線程之間通過wait,notify等方式通訊。保證每次環境切換都是有意義的。減少無謂的進程切換。

以下是非同步IO的結構：

 

圖4：非阻塞基本原理

 

Reactor就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取資料、解碼、計算處理、編碼、發送響應。

非同步IO核心API

Selector

非同步IO的核心類，它能檢測一個或多個通道(channel)上的事件，並將事件分發出去。

使用一個select線程就能監聽多個通道上的事件，並基於事件驅動觸發相應的響應。而不需要為每個channel去分配一個線程。

SelectionKey

包含了事件的狀態資訊和時間對應的通道的綁定。

例子1單線程實現監聽兩個連接埠。(見nio.asyn包下面的例子。)

例子2 NIO線程協作實現資源合理利用。(wait,notify)。(見nio.asyn.multithread下的例子)