MongoDB之GridFS隱藏檔

標籤：style   blog   http   color   os   使用   io   java   strong   

1、MongoDB 的 GridFS 詳細分析

GridFS簡介

GridFS是MongoDB中的一個內建功能，可以用於存放大量小檔案。

http://www.mongodb.org/display/DOCS/GridFS

http://www.mongodb.org/display/DOCS/GridFS+Specification

GridFS使用

MongoDB提供了一個命令列工具mongofiles可以來處理GridFS，在bin目錄下。

列出所有檔案：

mongofiles list

上傳一個檔案：

mongofiles put xxx.txt

下載一個檔案：

mongofiles get xxx.txt

尋找檔案：

mongofiles search xxx    //會尋找所有檔案名稱中包含“xxx”的檔案

mongofiles list xxx //會尋找所有檔案名稱以“xxx”為首碼的檔案

參數說明：

–d 指定資料庫 ，預設是fs，Mongofiles list –d testGridfs

-u –p 指定使用者名稱，密碼

-h  指定主機

-port 指定主機連接埠

-c 指定集合名，預設是fs

-t 指定檔案的MIME類型，預設會忽略

使用MongoVUE來查看，管理GridFS

MongoVUE地址：http://www.mongovue.com/

MongoVUE是個免費軟體，但超過15天后功能受限。可以通過刪除以下登錄機碼來釋放保留：

[HKEY_CURRENT_USER\Software\Classes\CLSID\{B1159E65-821C3-21C5-CE21-34A484D54444}\4FF78130]

把這個項下的值全刪掉就可以了。

用java驅動上傳下載檔案：

：https://github.com/mongodb/mongo-java-driver/downloads

官方的文檔貌似不是最新的，不過通過查看api來使用也不困騅。

http://api.mongodb.org/java/2.7.2/

以下代碼基於mongo-2.7.3.jar

 

nginx-gridfs模組的安裝使用

項目首頁：https://github.com/mdirolf/nginx-gridfs

通過nginx-gridfs，可以直接用http來訪問GridFS中的檔案。

1. 安裝

安裝各種依賴包：zlib，pcre，openssl

在ubuntu下可能是以下命令：

sudo apt-get install zlib1g-dev            //貌似sudo apt-get install zlib-dev 不能安裝

sudo apt-get install libpcre3 libpcre3-dev

sudo apt-get install openssl libssl-dev

安裝git（略）

用git下載nginx-gridfs的代碼：

git clone git://github.com/mdirolf/nginx-gridfs.git

    cd nginx-gridfs

    git submodule init

    git submodule update

下載nginx：

wget http://nginx.org/download/nginx-1.0.12.zip

tar zxvf nginx-1.0.12.zip

cd nginx-1.0.12

 ./configure --add-module=<nginx-gridfs的路徑>

make

sudo make install

如果編譯出錯，則在configure時加上--with-cc-opt=-Wno-error 參數。

2. 配置nginx

在server的配置中加上以下

   location /pics/ {

                gridfs pics

                field=filename

                type=string;

                mongo 127.0.0.1:27017;

        }

上面的配置表示：

資料庫是pics，通過檔案名稱filename來訪問檔案，filename的類型是string

目前只支援通過id和filename來訪問檔案。

啟動nginx：/usr/local/nginx/sbin/nginx

用MongoVUE把一個圖片001.jpg上傳到pics資料庫中。

開啟：http://localhost/pics/001.jpg

如果成功，則可以看到顯示圖片了。

3. nginx-gridfs的不足

沒有實現http的range support，也就是斷點續傳，分區下載的功能。

GridFS實現原理

GridFS在資料庫中，預設使用fs.chunks和fs.files來隱藏檔。

其中fs.files集合存放檔案的資訊，fs.chunks存放檔案資料。

一個fs.files集合中的一條記錄內容如下，即一個file的資訊如下：

{ "_id" : ObjectId("4f4608844f9b855c6c35e298"),       //唯一id，可以是使用者自訂的類型"filename" : "CPU.txt",      //檔案名稱"length" : 778,      //檔案長度"chunkSize" : 262144,      //chunk的大小"uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上傳時間"md5" : "e2c789b036cfb3b848ae39a24e795ca6",      //檔案的md5值"contentType" : "text/plain"      //檔案的MIME類型"meta" : null     //檔案的其它資訊，預設是沒有”meta”這個key，使用者可以自己定義為任意BSON對象}

 

對應的fs.chunks中的chunk如下：

{ "_id" : ObjectId("4f4608844f9b855c6c35e299"),      //chunk的id"files_id" : ObjectId("4f4608844f9b855c6c35e298"),     //檔案的id，對應fs.files中的對象，相當於fs.files集合的外鍵"n" : 0,      //檔案的第幾個chunk塊，如果檔案大於chunksize的話，會被分割成多個chunk塊"data" : BinData(0,"QGV...")     //檔案的位元據，這裡省略了具體內容}

 

預設chunk的大小是256K。

public static final int DEFAULT_CHUNKSIZE = 256 * 1024;

所以在把檔案存入到GridFS過程中，如果檔案大於chunksize，則把檔案分割成多個chunk，再把這些chunk儲存到fs.chunks中，最後再把檔案資訊存入到fs.files中。

在讀取檔案的時候，先據查詢的條件，在fs.files中找到一個合適的記錄，得到“_id”的值，再據這個值到fs.chunks中尋找所有“files_id”為“_id”的chunk，並按“n”排序，最後依次讀取chunk中“data”對象的內容，還原成原來的檔案。

自訂Gridfs的hash函數

儘管從理論上，無論用什麼hash函數，都有可能出現hash值相同，但內容不相同的檔案，但是對於GridFS預設使用的md5演算法，目前已出現長度和md5值都相同但內容不一樣的檔案。

如果想要自已改用其它hash演算法，可以從驅動入手。因為GridFS在MongoDB中實際也只是兩個普通的集合，所以完全可以自已修改驅動，替換下hash演算法即可。

目前java版的驅動比較簡單，可以很容易修改實現。

但是要注意，這樣不符合GridFS的規範了。

注意事項

1. GridFS不自動處理md5相同的檔案，對於md5相同的檔案，如果想在GridFS中只有一個儲存，要使用者自已處理。Md5值的計算由用戶端完成。

2. 因為GridFS在上傳檔案過程中是先把檔案資料儲存到fs.chunks，最後再把檔案資訊儲存到fs.files中，所以如果在上傳檔案過程中失敗，有可能在fs.chunks中出現垃圾資料。這些垃圾資料可以定期清理掉。

 

 

2、GridFS原理

GridFS是MongoDB的一個內建功能，它提供一組檔案操作的API以利用MongoDB隱藏檔，GridFS的基本原理是將檔案儲存在兩個Collection中，一個儲存檔案索引，一個儲存檔案內容，檔案內容按一定大小分成若干塊，每一塊存在一個Document中，這種方法不僅提供了檔案儲存體，還提供了對檔案相關的一些附加屬性（比如MD5值，檔案名稱等等）的儲存。

MongoDB之GridFS隱藏檔