在PostgreSQL的基礎上建立一個MongoDB的副本的教程,postgresqlmongodb

來源:互聯網
上載者:User

在PostgreSQL的基礎上建立一個MongoDB的副本的教程,postgresqlmongodb

我有一個偷懶的想法。這個好點子該如何開始呢?好吧,這是一個恰如其分的小瘋狂:為什麼不直接在Postgres的基礎上建立我們自己的MongoDB版本呢?這聽起來有點牽強附會,但卻簡單而實在。

當NoSQL運動風生水起的時候,Postgres社區沒有幹坐著擺弄他們的大拇指。他們持續開發,貫穿整個Postgres的生態系統,幾個突出的功能吸引了我的眼球:整合JSON支援和PLV8。PLV8把V8 Javascript引擎引入到Postgres,他讓Javascript成為一個第一類別的語言(first-class language)。擁有JSON類型讓它能更容易地處理JSON(這很有效)。

開始前需要做的準備:

  •     Postgres 9.2+ (as of this blog entry, 9.2 is in beta) - http://www.postgresql.org/ftp/source/
  •     V8 - https://github.com/v8/v8
  •     PLV8 - http://code.google.com/p/plv8js/wiki/PLV8

 MongoDB的最低層級是集合.  集合可以用表來表示:
 

  CREATE TABLE some_collection (   some_collection_id SERIAL NOT NULL PRIMARY KEY,   data JSON  );

字元型的JSON 被儲存在 Postgres 表裡,簡單易行 (現在看是這樣).

下面實現自動建立集合.  儲存在集合表裡:
 

  CREATE TABLE collection (   collection_id SERIAL NOT NULL PRIMARY KEY,   name VARCHAR  );   -- make sure the name is unique  CREATE UNIQUE INDEX idx_collection_constraint ON collection (name);

一旦表建好了,就可以通過預存程序自動建立集合.  方法就是先建表,然後插入建表序列.
 
  

 CREATE OR REPLACE FUNCTION create_collection(collection varchar) RETURNS  boolean AS $$   var plan1 = plv8.prepare('INSERT INTO collection (name) VALUES ($1)', [ 'varchar' ]);   var plan2 = plv8.prepare('CREATE TABLE col_' + collection +    ' (col_' + collection + '_id INT NOT NULL PRIMARY KEY, data JSON)');   var plan3 = plv8.prepare('CREATE SEQUENCE seq_col_' + collection);      var ret;      try {    plv8.subtransaction(function () {     plan1.execute([ collection ]);     plan2.execute([ ]);     plan3.execute([ ]);         ret = true;    });   } catch (err) {    ret = false;   }      plan1.free();   plan2.free();   plan3.free();      return ret;  $$ LANGUAGE plv8 IMMUTABLE STRICT;

有了預存程序,就方便多了:
 
  

 SELECT create_collection('my_collection');


解決了集合儲存的問題,下面看看MongoDB資料解析.  MongoDB 通過點式註解方法操作完成這一動作:
 

  CREATE OR REPLACE FUNCTION find_in_obj(data json, key varchar) RETURNS  VARCHAR AS $$   var obj = JSON.parse(data);   var parts = key.split('.');      var part = parts.shift();   while (part && (obj = obj[part]) !== undefined) {    part = parts.shift();   }      // this will either be the value, or undefined   return obj;  $$ LANGUAGE plv8 STRICT;

上述功能返回VARCHAR,並不適用所有情形,但對於字串的比較很有用:
 

  SELECT data   FROM col_my_collection   WHERE find_in_obj(data, 'some.element') = 'something cool'

除了字串的比較, MongoDB還提供了數字類型的比較並提供關鍵字exists .  下面是find_in_obj() 方法的不同實現:
 

  CREATE OR REPLACE FUNCTION find_in_obj_int(data json, key varchar) RETURNS  INT AS $$   var obj = JSON.parse(data);   var parts = key.split('.');      var part = parts.shift();   while (part && (obj = obj[part]) !== undefined) {    part = parts.shift();   }      return Number(obj);  $$ LANGUAGE plv8 STRICT;     CREATE OR REPLACE FUNCTION find_in_obj_exists(data json, key varchar) RETURNS  BOOLEAN AS $$   var obj = JSON.parse(data);   var parts = key.split('.');      var part = parts.shift();   while (part && (obj = obj[part]) !== undefined) {    part = parts.shift();   }      return (obj === undefined ? 'f' : 't');  $$ LANGUAGE plv8 STRICT;

接下來是資料查詢.  通過現有的材料來實現 find() 方法.
儲存資料到集合中很簡單。首先,我們需要檢查JSON對象並尋找一個_id值。這部分代碼是原生的假設,如果_id已存在這意味著一個更新,否則就意味著一個插入。請注意,我們目前還沒有建立objectID,只使用了一個序列待其發生:
 

  CREATE OR REPLACE FUNCTION save(collection varchar, data json) RETURNS  BOOLEAN AS $$   var obj = JSON.parse(data);    var id = obj._id;    // if there is no id, naively assume an insert   if (id === undefined) {    // get the next value from the sequence for the ID    var seq = plv8.prepare("SELECT nextval('seq_col_" +      collection + "') AS id");    var rows = seq.execute([ ]);        id = rows[0].id;    obj._id = id;     seq.free();       var insert = plv8.prepare("INSERT INTO col_" + collection +      " (col_" + collection + "_id, data) VALUES ($1, $2)",      [ 'int', 'json']);     insert.execute([ id, JSON.stringify(obj) ]);    insert.free();   } else {    var update = plv8.prepare("UPDATE col_" + collection +     " SET data = $1 WHERE col_" + collection + "_id = $2",     [ 'json', 'int' ]);     update.execute([ data, id ]);   }    return true;  $$ LANGUAGE plv8 IMMUTABLE STRICT;

基於這個觀點,我們可以構建一些插入的簡單文檔:

  {   "name": "Jane Doe",   "address": {    "street": "123 Fake Street",    "city": "Portland",    "state": "OR"   },   "age": 33  }     {   "name": "Sarah Smith",   "address": {    "street": "456 Real Ave",    "city": "Seattle",    "state": "WA"   }  }     {   "name": "James Jones",   "address": {    "street": "789 Infinity Way",    "city": "Oakland",    "state": "CA"   },   "age": 23  }

讓我們建立一個集合并插入一些資料:

 

  work=# SELECT create_collection('data');   create_collection  -------------------   t  (1 row)     work=# SELECT save('data', '{ our object }');   save  ------   t  (1 row)

你可以通過檢查“col_data”表的內容來查看對象。

其它翻譯版本(1)

現在我們已經有了一些資料,讓我們再查詢一下。假設我們想尋找住在俄勒岡或華盛頓州年齡大於30的所有人,使用一個MongoDB風格的find():
 

  {   "$or": [    {     "address.state": "OR"    },    {     "address.state": "WA"    }   ],   "age": {    "$gt": 30   }  }

因為上次我們已經建立了一些深度的包檢測,現在就很容易建立查詢並返回Jane Doe:
 

  SELECT data   FROM col_data   WHERE find_in_obj_int(data, 'age') > 30    AND (       find_in_obj(data, 'address.state') = 'OR'      OR       find_in_obj(data, 'address.state') = 'WA'      )

我採用了寫一個遞迴調用函數來建立WHERE子句的方法。它有點長,所以我沒有把它貼在這裡而是放在GitHub上。一旦find()預存程序被建立,我們就可以在查詢中使用它。我們應該能夠看到Jane Doe被返回:

  work=# SELECT find('data', '{ "$or": [ { "address.state": "OR" }, { "address.state": "WA" } ], "age": { "$gt": 30 } }');

這樣奏效:它不優雅,但它奏效。這是一個概念的證明,而且幾乎沒有像它一樣好的可能。我之前曾被問過為什麼不使用HSTORE。雖然你可以儲存嵌套的HSTORE和數組值,但它仍不是JSON,並且不容易通過PLV8操作。這將需要一個從HSTORE到JSON的序列器,這個序列器在任何時間將請求的返回序列化成MongoDB接受的資料形式,但依舊太容易在JavaScript中處理。這是次優選擇,畢竟我們是要在Postgres的基礎上建立一個MongoDB的副本。

源碼可以在GitHub上找到:fork並嘗試一下吧,記得回饋哦。

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.