《hadoop 權威指南》 讀書筆記

HDFS 對寫入的資料計算校正和
datanode 管線的最後一個datanode 負責驗證校正和
用戶端在讀取datanode的時候也會驗證校正和

Hadoop的LocalFilesystem執行用戶端校正和驗證
LocalFileSystem通過ChecksumFileSystem來完成自己的任務
FileSystem rawFs =...
FileSystem checksummedFs = new ChecksumFileSystem（rawFs）；

壓縮 解壓縮 在Hadoop中 一個compressionCodec介面的實現代表一個codec codec實現一種壓縮-解壓縮演算法

序列化是將結構化對像轉化為位元組流，以便在網路上傳輸或者寫到磁碟進行非揮發性儲存體，還原序列化是指將位元組流裝回結構化對象的逆過程。序列化在分布式資料處理的進程通訊和永久儲存中用到。

Hadoop的序列化格式是Writable，它格式緊湊，速度快。

Writable介面定義了兩個方法，一個將其狀態寫到DataOutput二進位流，另一個從DataInput二進位流讀取其狀態：

package org.apache.hadoop.ioimport java.io.DataOutputimport java.io.DataInputimport java.io.IOExceptionpublic interface Writable{void write（DataOutput out) throws IOException;void readFields(DataInput in) throws IOException;}