使用MONGODB 叢集的OPLOG 日誌進行資料恢複

來源:互聯網
上載者:User

(以下方法只能恢複部分資料,因為OPLOG 表並沒有儲存所有的同步處理記錄,是有大小限制的)




因為oplog 表(collection 後面為了習慣,就叫表了)沒有索引,而我卻要選擇我需要恢複的某個表的資料。
所以先把各個分區中的oplog表分別匯出到另外一台伺服器進行處理:

1.備份出來:
./mongodump --port 28011 -d local -c oplog.rs  -o  /opt/backup/0706local/

2.恢複到另外一台單節點MONGODB伺服器

mongorestore --port 28011 -d temp_local -c shard1_oplog  --dir /opt/backup/0706local/local/oplog.rs.bson

......
mongorestore --port 28012 -d temp_local -c shard4_oplog  --dir /opt/backup/0706local/local/oplog.rs.bson

有多少個分區,就有多少個建立立的表。

3.建立索引,以方便查詢資料:
> db.shard4_oplog.createIndex({ns:1,op:1})
{
    "createdCollectionAutomatically" : false,
    "numIndexesBefore" : 0,
    "numIndexesAfter" : 1,
    "ok" : 1
}

4.本來想先把沒用的資料刪除的,但因為oplog原來是個capped 表,無法刪除資料,只好做罷,就這樣處理吧。

> db.shard4_oplog.remove({ns:"ds.tb_monitor",op:{$ne:'i'}})
WriteResult({
    "nRemoved" : 0,
    "writeError" : {
        "code" : 20,
        "errmsg" : "cannot remove from a capped collection: oplog.shard4_oplog"
    }
})


5.編寫代碼,對每行資料查詢到後,添加到一個新的表:

關於:forEach:

Step 2: Create backup of 2.6 admin.system.users collection. Copy all documents in the
admin.system.users(page 286) collection to theadmin.system.new_userscollection:
db.getSiblingDB("admin").system.users.find().forEach( function(userDoc) {
status = db.getSiblingDB("admin").system.new_users.save( userDoc );
if (status.hasWriteError()) {
print(status.writeError);
}
}
);

使用類似方法,寫了一個把日誌資料儲存到另外一個表的功能:
(把表名為要恢複的表名,操作類型為'i'---新資料插入 的資料取出,儲存到另外一個新表)

db.shard3_oplog.find({ns:"ds.tb_monitor",op:'i'}).forEach(function(res_data){
obj_doc = res_data["o"]; #取出oplog中插入的JSON對象
status = db.tb_monitor.save( obj_doc ); #儲存到新表中。
if (status.hasWriteError()) {
print(status.writeError);
}
}
)


6.再把這個建立立的表,匯出,再恢複到叢集中為一個新表,再使用5方法,儲存到源表中。

./mongodump  -d local -c shard1_oplog  -o  /opt/backup/0706local/

mongorestore --port 28000 -d temp_local -c new_collection  --dir /opt/backup/0706local/local/shard1_oplog.bson


db.new_collection.find().forEach(function(res_data){
status = db.tb_monitor.save( res_data );
if (status.hasWriteError()) {
print(status.writeError);
}
}
)

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.