Java NIO基礎知識

轉自：http://www.iteye.com/topic/834447

1. 基本 概念

IO 是主存和外部裝置 ( 硬碟、終端和網路等 ) 拷貝資料的過程。 IO 是作業系統的底層功能實現，底層通過 I/O 指令進行完成。

所有語言運行時系統提供執行 I/O 較進階別的工具。 (c 的 printf scanf,java 的物件導向封裝 )

2. Java 標準 io 回顧

Java 標準 IO 類庫是 io 物件導向的一種抽象。基於本地方法的底層實現，我們無須關注底層實現。 InputStream\OutputStream( 位元組流 ) ：一次傳送一個位元組。 Reader\Writer( 字元流 ) ：一次一個字元。

3. nio 簡介

nio 是 java New IO 的簡稱，在 jdk1.4 裡提供的新 api 。 Sun 官方標榜的特性如下：

– 為所有的原始類型提供 (Buffer) 緩衝支援。

– 字元集編碼解碼解決方案。

– Channel ：一個新的原始 I/O 抽象。

– 支援鎖和記憶體對應檔的檔案提供者。

– 提供多路 (non-bloking) 非阻塞式的高伸縮性網路 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4. Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的資料類型抽象。

Buffer:

– 是一塊連續的記憶體塊。

– 是 NIO 資料讀或寫的中轉地。

Channel:

– 資料的源頭或者資料的目的地

– 用於向 buffer 提供資料或者讀取 buffer 資料 ,buffer 對象的唯一介面。

– 非同步 I/O 支援

    

圖1：channel和buffer關係

例子 1:CopyFile.java

 

package sample;import java.io.FileInputStream;import java.io.FileOutputStream;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;public class CopyFile {    public static void main(String[] args) throws Exception {String infile = "C:\\copy.sql";String outfile = "C:\\copy.txt";// 擷取源檔案和目標檔案的輸入輸出資料流FileInputStream fin = new FileInputStream(infile);FileOutputStream fout = new FileOutputStream(outfile);// 擷取輸入輸出通道FileChannel fcin = fin.getChannel();FileChannel fcout = fout.getChannel();// 建立緩衝區           ByteBuffer buffer = ByteBuffer.allocate(1024);while (true) {                // clear方法重設緩衝區，使它可以接受讀入的資料buffer.clear();               // 從輸入通道中將資料讀到緩衝區                 int r = fcin.read(buffer);// read方法返回讀取的位元組數，可能為零，如果該通道已到達流的末尾，則返回-1      if (r == -1) {break;}       // flip方法讓緩衝區可以將新讀入的資料寫入另一個通道        buffer.flip();               // 從輸出通道中將資料寫入緩衝區       fcout.write(buffer);}    }}

其中 buffer 內部結構如下 ( 拷貝自資料 ):

   

圖2：buffer內部結構

一個 buffer 主要由 position,limit,capacity 三個變數來控制讀寫的過程。此三個變數的含義見如下表格：

參數	寫入模式	讀模式
position	當前寫入的單位元據數量。	當前讀取的單位元據位置。
limit	代表最多能寫多少單位元據和容量是一樣的。	代表最多能讀多少單位元據，和之前寫入的單位元據量一致。
capacity	buffer 容量	buffer 容量

Buffer 常見方法：

flip(): 寫入模式轉換成讀模式

rewind() ：將 position 重設為 0 ，一般用於重複讀。

clear() ：清空 buffer ，準備再次被寫入 (position 變成 0 ， limit 變成 capacity) 。

compact(): 將未讀取的資料拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置， reset 可以重設到該位置。

Buffer 常見類型： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。

channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的效能測試。我的筆記本效能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考資料：

– 情境 1 ： Copy 一個 370M 的檔案

– 情境 2: 三個線程同時拷貝，每個線程拷貝一個 370M 檔案

情境	FileInputStream+ FileOutputStream	FileInputStream+ BufferedInputStream+ FileOutputStream	ByteBuffer+ FileChannel	MappedByteBuffer +FileChannel
情境一時間 ( 毫秒 )	25155	17500	19000	16500
情境二時間 ( 毫秒 )	69000	67031	74031	71016

5. nio.charset

字元編碼解碼 : 位元組碼本身只是一些數字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放資料時需要考慮字元集的編碼方式，讀取展示 ByteBuffer 資料時涉及對字元集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下代碼向 baidu 發一次請求，並擷取結果進行顯示。例子示範到了 charset 的使用。

例子 2BaiduReader.java

package nio.readpage;import java.nio.ByteBuffer;import java.nio.channels.SocketChannel;import java.nio.charset.Charset;import java.net.InetSocketAddress;import java.io.IOException;public class BaiduReader {     private Charset charset = Charset.forName("GBK");// 建立GBK字元集      private SocketChannel channel;     public void readHTMLContent() {        try {            InetSocketAddress socketAddress = new InetSocketAddress("www.baidu.com", 80);            //step1:開啟串連    channel = SocketChannel.open(socketAddress);            //step2:發送請求，使用GBK編碼            channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));            //step3:讀取資料            ByteBuffer buffer = ByteBuffer.allocate(1024);// 建立1024位元組的緩衝            while (channel.read(buffer) != -1) {   buffer.flip();// flip方法在讀緩衝區位元組操作之前調用。   System.out.println(charset.decode(buffer));// 使用Charset.decode方法將位元組轉換為字串   buffer.clear();// 清空緩衝}} catch (IOException e) {System.err.println(e.toString());} finally {        if (channel != null) {  try {             channel.close();         } catch (IOException e) {}        }   }   public static void main(String[] args) {new BaiduReader().readHTMLContent();   }}

6. 非阻塞 IO

關於非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和非同步核心 API 幾個方面來理解。

何為阻塞？

一個常見的網路 IO 通訊流程如下 :

   

圖3：網路通訊基本過程

從該網路通訊過程來理解一下何為阻塞 :

在以上過程中若串連還沒到來，那麼 accept 會阻塞 , 程式運行到這裡不得不掛起， CPU 轉而執行其他線程。

在以上過程中若資料還沒準備好， read 會一樣也會阻塞。

阻塞式網路 IO 的特點：多執行緒多個串連。每個線程擁有自己的棧空間並且佔用一些 CPU 時間。每個線程遇到外部為準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的進程環境切換。且大部分進程環境切換可能是無意義的。比如假設一個線程監聽一個連接埠，一天只會有幾次請求進來，但是該 cpu 不得不為該線程不斷做環境切換嘗試，大部分的切換以阻塞告終。

何為非阻塞？

下面有個隱喻：

一輛從 A 開往 B 的公用汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對於需要下車的人，如何處理更好？

1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那麼司機停車，乘客下車。 ( 類似阻塞式 )

2. 每個人告訴售票員自己的目的地，然後睡覺，司機只和售票員互動，到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

很顯然，每個人要到達某個目的地可以認為是一個線程，司機可以認為是 CPU 。在阻塞式裡面，每個線程需要不斷的輪詢，環境切換，以達到找到目的地的結果。而在非阻塞方式裡，每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

非阻塞的原理

把整個過程切換成小的任務，通過任務間協作完成。

由一個專門的線程來處理所有的 IO 事件，並負責分發。

事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。

線程通訊：線程之間通過 wait,notify 等方式通訊。保證每次環境切換都是有意義的。減少無謂的進程切換。

以下是非同步 IO 的結構：

                                        

圖4：非阻塞基本原理

Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取資料、解碼、計算處理、編碼、發送響應。

非同步 IO 核心 API

Selector

非同步 IO 的核心類，它能檢測一個或多個通道 (channel) 上的事件，並將事件分發出去。

使用一個 select 線程就能監聽多個通道上的事件，並基於事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個線程。

SelectionKey

包含了事件的狀態資訊和時間對應的通道的綁定。

注意：原文提供了測試樣本，可以去下載參考。