mongodb清理collection中大量資料的2種辦法

標籤：style   color   io   for   ar   資料   cti   html   log   

1 shell中for迴圈清理

每次去串連一下mongo, 進行資料的remove操作

echo "Begin ..." >> /root/time.log;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;for((i=1;i<=100000000;i++)); do         objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{\\$lt:ISODate(\"2013-01-10T01:16:33.303Z\")}},{"_id":1}))"`;         /usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)";         echo " done " $objectid "  " >> /root/tickets.logdoneecho $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;echo "End ..." >> /root/time.log;echo " " >> /root/time.log

2 mongo shell中 for迴圈 清理

只串連一次mongo, 在mongo shell中for迴圈清理

[[email protected] ~]# more t.shecho "Begin ..." >> /root/t.log;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;echo "End ..." >> /root/t.log;echo " " >> /root/t.log[[email protected] ~]# [[email protected] ~]# [[email protected] ~]# more t.jsfor( var i=1 ; i<=100000000; i++ ) {        var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1});         db.tickets.remove(objectid);}[[email protected] ~]#

 

實際測試, 第一種安全保險的多,但是畢竟慢,清理100G的資料 大概要3天 ,第二種快捷的多(據說有風險,但是我測試沒有碰到過),清理100G的資料,用了6個小時.

 

mongodb清理collection中大量資料的2種辦法