大熊君大話NodeJS之------Buffer模組

標籤：

一，開篇分析

所謂緩衝區Buffer，就是 "臨時存貯區" 的意思，是暫時存放輸入輸出資料的一段記憶體。

JS語言自身只有字串資料型別，沒有位元據類型，因此NodeJS提供了一個與String對等的全域建構函式Buffer來提供對位元據的操作。除了可以讀取檔案得到Buffer的執行個體外，還能夠直接構造，例如：

　var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ; 

Buffer與字串類似，除了可以用.length屬性得到位元組長度外，還可以用[index]方式讀取指定位置的位元組，例如：

buffer[0] ; // 0x68;

Buffer與字串能夠互相轉化，例如可以使用指定編碼將位元據轉化為字串：

var str = buffer.toString("utf-8");  // hello

將字串轉換為指定編碼下的位元據：

var buffer= new Buffer("hello", "utf-8") ; // <Buffer 68 65 6c 6c 6f>

一點兒區別：

Buffer與字串有一個重要區別。字串是唯讀，並且對字串的任何修改得到的都是一個新字串，原字串保持不變。

至於Buffer，更像是可以做指標操作的C語言數組。例如，可以用[index]方式直接修改某個位置的位元組。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

slice方法也不是返回一個新的Buffer，而更像是返回了指向原Buffer中間的某個位置的指標，如下所示。

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]    ^           ^    |           |   bin     bin.slice(2)

因此對slice方法返回的Buffer的修改會作用於原Buffer，例如：

1 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;2 var sub = bin.slice(2) ;3 sub[0] = 0x65 ;4 console.log(buffer) ; //  <Buffer 68 65 65 6c 6f>

 

如果想要拷貝一份Buffer，得首先建立一個新的Buffer，並通過.copy方法把原Buffer中的資料複製過去。

這個類似於申請一塊新的記憶體，並把已有記憶體中的資料複製過去。以下是一個例子。

1 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;2 var dup = new Buffer(bin.length) ;3 bin.copy(dup) ;4 dup[0] = 0x48 ;5 console.log(buffer) ;  // <Buffer 68 65 6c 6c 6f>6 console.log(dup) ;  // <Buffer 48 65 65 6c 6f>

總之，Buffer將JS的資料處理能力從字串擴充到了任意位元據。

以上簡單讓大家瞭解一下什麼是Buffer，下面具體說說如何使用和具體使用情境。

 

二，聊聊Buffer

 

JavaScript對字串處理十分友好，無論是寬位元組還是單位元組字串，都被認為是一個字串。Node中需要處理網路通訊協定、操作資料庫、處理圖片、檔案上傳等，還需要處理大量位元據，內建的字串遠不能滿足這些要求，因此Buffer應運而生。

 

Buffer結構

 

Buffer是一個典型的Javascript和C++結合的模組，效能相關部分用C++實現，非效能相關部分用javascript實現。

 

Node在進程啟動時Buffer就已經加裝進入記憶體，並將其放入全域對象，因此無需require

 

Buffer對象：類似於數組，其元素是16進位的兩位元。

 

Buffer記憶體配置

 

Buffer對象的記憶體配置不是在V8的堆記憶體中，在Node的C++層面實現記憶體的申請。

 

為了高效的使用申請來得記憶體，Node中採用slab分配機制，slab是一種動態記憶體管理機制，應用各種*nix作業系統。slab有三種狀態：

 

(1) full：完全分配狀態

 

(2) partial：部分分配狀態

 

(3) empty：沒有被分配狀態

 

Buffer的轉換

 

Buffer對象可以和字串相互轉換，支援的編碼類別型如下：

 

ASCII、UTF-8、UTF-16LE/UCS-2、Base64、Binary、Hex

 

字串轉Buffer

 

new Buffer(str, [encoding])，預設UTF-8

 

buf.write(string, [offset], [length], [encoding])

 

Buffer轉字串

 

buf.toString([encoding], [start], [end])

 

Buffer不支援的編碼類別型

 

通過Buffer.isEncoding(encoding)判斷是否支援

 

iconv-lite：純JavaScript實現，更輕量，效能更好無需C++到javascript的轉換

 

iconv：調用C++的libiconv庫完成

 

Buffer的拼接

 

注意 "res.on(‘data‘, function(chunk) {})"，其中的參數chunk是Buffer對象，直接用+拼接會自動轉換為字串，對於寬位元組字元可能會導致亂碼產生，

解決方案：

 

(1) 通過可讀流中的setEncoding()方法，該方法可以讓data事件傳遞不再是Buffer對象，而是編碼後的字串，其內部使用了StringEncoder模組。

 

(2) 將Buffer對象暫存到數組中，最後在組裝成一個大Buffer讓後編碼轉換為字串輸出。

 

Buffer在檔案I/O和網路I/O中廣泛應用，其效能舉足輕重，比一般字元串效能要高出很多。

 

Buffer的使用除了與字串的轉換有效能損耗外，在檔案讀取時候，有一個highWaterMark設定對效能影響至關重要。

 

a，highWaterMark設定對Buffer記憶體的分配和使用有一定影響。

 

b， highWaterMark設定過小，可能導致系統調用次數過多。

 

什麼時候該用buffer，什麼時候不該用  ------ 純粹的javascript支援unicode碼而對二進位不是很支援，當解決TCP流或者檔案流的時候，處理流是有必要的，我們儲存非utf-8字串，2進位等等其他格式的時候，我們就必須得使用 ”Buffer“ 。

 

三，執行個體引入

 

 1 var buf = new Buffer("this is text concat test !") ,str = "this is text concat test !" ; 2 console.time("buffer concat test !"); 3 var list = [] ; 4 var len = 100000 * buf.length ; 5 for(var i=0;i<100000;i++){ 6     list.push(buf) ; 7     len += buf.length ; 8 } 9 var s1 = Buffer.concat(list, len).toString() ;10 console.timeEnd("buffer concat test !") ;11 console.time("string concat test !") ;12 var list = [] ;13 for (var i = 100000; i >= 0; i--) {14   list.push(str) ;15 }16 var s2 = list.join("") ;17 console.timeEnd("string concat test !") ;

 

以下是運行結果：

 

讀取速度肯定string更快，buffer還需要toString()的操作。 所以我們在儲存字串的時候，該用string還是要用string，就算大字串拼接string的速度也不會比buffer慢。

那什麼時候我們又需要用buffer呢？沒辦法的時候，當我們儲存非utf-8字串，2進位等等其他格式的時候，我們就必須得使用了。

 

 

四，總結一下

（1），JavaScript適合處理Unicode編碼資料，但對位元據的處理並不友好。

 

（2），所以處理TCP流或檔案系統時，對八位位元組流的處理很有必要。

 

（3），Node有幾個用於處理，建立和消耗八位位元組流的方法。

 

（4），未經處理資料存放在一個Buffer執行個體中，一個Buffer類似一個整數數組，但是它的記憶體，分配在V8堆棧外。一個Buffer的大小是不能更改的。
（5），處理的編碼類別型有：ascii,utf8,utf16le,ucs2（utf16le的別名）,base64,binary,hex。
（6），Buffer為全域元素，直接new Buffer()就得到一個Buffer執行個體。

 

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　  哈哈哈，本篇結束，未完待續，希望和大家多多交流夠溝通，共同進步。。。。。。呼呼呼……(*^__^*)            

大熊君大話NodeJS之------Buffer模組