基於Mongodb的file server

 

基於Mongodb的file server

 

最近在抱怨公司的file server，現有的file server通過伺服器提供介面，將檔案儲存到伺服器硬碟，按照ID分檔案。通過定期備份到其它伺服器，運行了這麼久出現過一次事故，硬碟被同事格式化導致丟失了一部分資料。因此考慮如果重新設計file server我會怎麼做，於是考慮使用Mongodb來設計，進行分布式同步。

 

 

使用Mongodb好處：

1.備份，維護簡單

2.可以使用Mongodb的分布式同步資料，就算一台伺服器掛了，fileserver也不會掛

3.速度會比較快（我猜）

 

file server 結構：

1. 使用webservice提供添加，刪除，擷取檔案的介面，mongodb只儲存檔案內容

2. 將檔案儲存到Mongodb資料庫

3. 隱藏檔由三個Mongodb資料庫伺服器組成，一個為Arbiter伺服器，另外兩個互為主從伺服器

 

Mongodb伺服器環境搭建：

 

1.下載最新版的mongodb for windows程式 http://www.mongodb.org/downloads

2.解壓縮檔案，重名名檔案夾為mongodb，在mongodb檔案夾下建立data，log檔案夾，並複製兩份為d:\mongodb2,d:\mongodb3

 

3.配置mongodb 1

在cmd命令定位到mongodb/bin檔案夾，敲入下面命令啟動mongodb：

D:\mongodb\bin>mongod --rest --replSet myset --port 20720 --dbpath d:\mongodb\data --logpath d:\mongodb\log

--replSet myset 指定mongodb運行為replication模式，集合名為myset

--rest 用於啟動adminstration ui，可以通過http://localhost:28017/_replSet查看伺服器狀態

--dbpath 指定資料庫檔案路徑

--logpath 指定記錄檔路徑

 

4.配置Mongodb 2

配置方法同mongodb 1，只是連接埠改為20721

D:\mongodb2\bin>mongod --rest --replSet myset --port 20721 --dbpath d:\mongodb2\data --logpath d:\mongodb\log

 

5.配置Mongodb 3

配置命令如下：

D:\mongodb2\bin>mongod --rest --replSet myset --oplogSize 8 --port 20722 --dbpath d:\mongodb3\data

 

具體解析查看http://www.mongodb.org/download/attachments/9830402/mongodb+replica+sets+intro.pdf

 

現在三台mongodb伺服器都啟動了，哦也，現在需要告訴Mongodb 1他的同伴Mongodb 2，具體命令如下：

D:\mongodb\bin>mongo --host ChrisCheung_PC//這裡是我的電腦名稱，也可以是127.0.0.1 

首先執行

>rs.initiate()

>rs.add("ChrisCheung_PC:20721") //如果不知道電腦名稱可以用rs.conf()看到

{ "ok" : 1 }

 

這樣就講20721連接埠的mongodb添加到myset中，執行rs.conf()可查看相應資訊。

 

接下來還要把Mongdb 3添加到組中，同意是在mongodb 1執行：

>rs.add( {_id:2, host:"ChrisCheung-PC:20722",arbiterOnly:true})

{ "ok" : 1 }

如果host打錯會報下列錯誤：

 

{
"assertion" : "need most members up to reconfigure, not ok : ChrisCheung
-PC:20721",
"assertionCode" : 13144,
"errmsg" : "db assertion failure",
"ok" : 0
}

 

 

 

到目前位置我們已經有三台正常運行mongodb伺服器，並配置為Replica Sets同步模式。

 

程式實現，下面是我寫的一個簡單類

 

using System;using System.Collections.Generic;using System.Linq;using System.Text;using MongoDB.Driver;using MongoDB.Driver.Builders;using MongoDB.Bson;namespace FileUtility{    public class DocHelper    {        private string connStr = "";        public string ConnStr        {            get             {                if (string.IsNullOrEmpty(connStr))                {                    throw new ArgumentNullException("Connection string did not specify!");                }                return connStr;            }        }        public DocHelper()        {            connStr = System.Configuration.ConfigurationManager.AppSettings["FileDb"];        }        public DocHelper(string connectionString)        {            this.connStr = connectionString;        }        /// <summary>        /// save document conent        /// </summary>        /// <param name="content">file content</param>        /// <returns>file id in mongodb database</returns>        public string AddDoc(byte[] content)        {            MongoServer server = MongoServer.Create(this.ConnStr);            try            {                Doc doc = new Doc() { ID = Guid.NewGuid().ToString(), data = content };                server.Connect();                MongoDatabase db = server.GetDatabase("ecDocs");                MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles",SafeMode.True);                docs.Insert(doc);                return doc.ID.ToString();            }            catch (Exception ex)            {                throw ex;            }            finally             {                if (server != null)                    server.Disconnect();            }        }        /// <summary>        /// delete doc from the mongodb server        /// </summary>        public void DeleteDoc(string docID)        {            MongoServer server = MongoServer.Create(this.ConnStr);            try            {                server.Connect();                MongoDatabase db = server.GetDatabase("ecDocs");                MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);                var queryDoc = Query.EQ("_id", docID);                docs.Remove(queryDoc);            }            catch (Exception ex)            {                throw ex;            }            finally            {                if (server != null)                    server.Disconnect();            }        }        /// <summary>        /// get the doc content from mongodb        /// </summary>        /// <param name="docID">doc id in mongodb</param>        /// <returns>document content</returns>        public Doc GetDoc(string docID)        {            MongoServer server = MongoServer.Create(this.ConnStr);            try            {                server.Connect();                MongoDatabase db = server.GetDatabase("ecDocs");                MongoCollection<Doc> docs = db.GetCollection<Doc>("ecFiles", SafeMode.True);                Doc doc = docs.FindOneById(docID);                return doc;            }            catch (Exception ex)            {                throw ex;            }            finally            {                if (server != null)                    server.Disconnect();            }        }    }}

 

實體類：

 

using System;using System.Collections.Generic;using System.Text;using MongoDB.Bson.DefaultSerializer;using MongoDB.Bson;namespace FileUtility{    public class Doc    {        [BsonId]        public string ID { get; set; }        public byte[] data { get; set; }    }}

 

測試代碼：

 

代碼

FileUtility.DocHelper helper =new FileUtility.cHelper("mongodb://localhost:20720");
byte[] bytes = File.ReadAllBytes("E:\\photo\\20110101-ski\\DSCN1621.JPG");
string id = helper.AddDoc(bytes);

FileUtility.Doc doc = helper.GetDoc(id);
File.WriteAllBytes("d:\\image.jpg", doc.data);

 

 

插入一張圖片後，到http://localhost:28017/_replSet  optime列的連結查看資料庫的日誌，可以看出兩台伺服器都插入了同樣的記錄，如：

 

 

 

好啦，一個簡單的file server 就醬搭建起來了。簡單插入一些資料，感覺mongodb暫用蠻大的硬碟空間，大家對file server有什麼好的建議呢？歡迎拍磚，謝謝。

 

參考文章：

http://www.cnblogs.com/daizhj/archive/2010/09/08/1821481.html

http://www.cnblogs.com/daizhj/archive/2010/09/07/1820528.html

http://www.mongodb.org/