MongoDB叢集卡死問題

標籤：

    一年前搭了個MongoDB叢集，跑得還算不錯，但是有幾次遇到過服務卡死的問題。處理起來已經得心應手了，拿來跟大家分享一下：

故障現象：

    業務查詢緩慢，而且會有串連異常：

{ "serverUsed" : "/10.6.19.80:10013" , "errmsg" : "exception: could not run map command on all shards for ns tloc.fileprops and query { author: { $in: [ \"exception\" ] }, type: { $in: [ 0, 1 ] } } :: caused by :: socket exception [CONNECT_ERROR] for shard2/10.6.19.91:10016" , "code" : 11002 , "ok" : 0.0}

{ "serverUsed" : "/10.6.19.108:10013" , "ok" : 0.0 , "errmsg" : "MR post processing failed: { errmsg: \"exception: could not initialize cursor across all shards because : socket exception [SEND_ERROR] for 10.6.19.91:10016 @ shard2/10.6.19.91:10016\", code: 14827, ok: 0.0 }"}

    當時各個Mongo分區、路由、設定管理員進程有在運行，而且查看路由服務的IO也不算高，記憶體、CPU也是可以接受的。但是業務查詢卻會卡死，導致服務不可用。

 

故障原因：

    能通過本地串連上mongo，切到業務db，通過“db.currentOp()”查看到執行的操作，發現運算元已經開始積累，呈阻塞狀態。而且通過觀察可以發現一般操作累積的都是同一個分區下的任務，估計是這個分區出現了問題，有幾種可能性：

        1、磁碟IO異常

        2、任務參數不合理，查詢確實很慢

    總之，不可能因為一個分區問題，導致整個叢集不可用。

 

故障恢複：

    如果是線上可用性，一般都會很急的，現在知道了原因，應立即恢複。這裡有兩種辦法：

        1、一個一個地用db.killOp("opid")去殺掉某個操作（mongo沒有群殺，即使你重啟了路由，那些操作還在設定管理員裡存著），但是這個不大合理，因為它的增長阻塞很快，而且很可能你連mongo都登不上，整個服務都癱瘓掉了；

        2、暴力重啟分區，這個是目前我在使用的，也是比較快速有效方法

    具體重啟服務，也不是所有伺服器都要重啟，只需要把引起阻塞的分區重啟即可：

        1、通過db.currentOp()或分區mongd日誌確認可疑分區

        2、直接上分區機器，kill掉mongod進程

        3、再啟動mongod進程

        4、進入各個路由伺服器，依次執行db.shutdownServer()，再啟動mongos進程

    此時，應用裡那些阻塞的操作應該都沒了，可以通過在路由服務上執行db.xxx.find()來確認是否叢集可用。

 

轉載請註明原址：http://www.cnblogs.com/lekko/p/5653940.html 

 

MongoDB叢集卡死問題