基於MongoDB GridFS的圖片儲存

它是mongodb的一個子模組,使用GridFS可以基於mongodb來持久隱藏檔.並且支援分布式應用(檔案分布儲存和讀取).GridFS是mongodb中使用者儲存大對象的工具,對於mongodb,BSON格式的資料(文檔)儲存有尺寸限制,最大為16M.但是在實際系統開發中,經常會有上傳圖片或者檔案的功能,這些檔案可能尺寸會很大..我們可以借用Gridfs來輔助實現這些檔案的管理.

Mongo GFS的檔案表是由 表名.files和 表名.chunks 構成，前者是檔案資訊構成，後者是檔案的內容，兩者通過_id與files_id建立關聯。

GridFS會將大檔案對象分割成多個小的chunk(檔案片段),一般為256k/個,每個chunk將作為mongodb的一個文檔(document)被儲存在chunks集合中..gridfs模組會為每個檔案建立chunks和files資訊.每個檔案的實際內容被存在chunks(位元據)中,和檔案有關的meta資料(filename,content_type,還有使用者自訂的屬性)將會被存在files集合中.files集合中的文檔就是BSON格式,可以使用mongodb的索引等等特性,當然可以對files文檔做資料分析。

使用情境:如果你的系統有如下情景

1) 有大量的上傳圖片(使用者上傳或者系統本身的檔案發布等)

2) 檔案的量級處于飛速增長,有可能打到單機作業系統自己的檔案系統的查詢效能瓶頸,甚至超過單機硬碟的擴容範圍.

3) 檔案的備份(不適用gridfs這種三方也可以做,但是不盡方便),檔案系統訪問的容錯移轉和修複..

4) 檔案的索引,儲存除檔案本身以外還需要關聯更多的中繼資料資訊(比如,不僅僅隱藏檔,還要儲存一些檔案的發布式作者/發布時間/檔案tag屬性等等自訂資訊)並且需要索引的...

5) 基於4),對檔案的分類模糊,如果採用作業系統的檔案系統,檔案夾分類別關係混亂或者無法分類時..

6) 當前系統是基於web的,對圖片的訪問根據url了規則路由的..(普通檔案系統也可以)

7) 檔案尺寸較小,而且眾多,且檔案有可能被遷移/刪除等..

下面是兩個PPT，對MongoDB的GridFS都做了介紹，包括了GridFS相對於傳統檔案系統儲存，網路檔案系統儲存的優勢。雖然內容相似，但介紹方法各異。推薦給大家。

Gridfs and MongoDB

View more presentations from Mitch Pirtle Grid FS

View more presentations from Chris Powers MongoDB gridfs

View more PowerPoint from Xue Wei

使用Mongodb儲存上傳物理檔案並進行SQUID加速(基於aspx頁面)

Mongodb億級資料量的效能測試

MongoDB資料匯總專題

http://www.oschina.net/question/12_29127

基於MongoDB GridFS的圖片儲存

基於MongoDB GridFS的檔案儲存體策略