mongodb複本集源碼實現-基礎

複本集源碼實現

1. 啟動流程

db.cpp
main
mongoDbMain
initAndListen
_initAndListen
Listen
createServer(options, new MyMessageHandler() );
startReplication

這裡主要分析startReplication函數
2.startReplication
boost::thread t( boost::bind( &startReplSets, replSetCmdline) ); 啟動一個線程

startReplSets
ReplSet::make(*replSetCmdline))->go();
Make
Init
loadConfig();
此函數主要作用：等待複本集所依賴的成員（連接埠）的啟動，等待初始化
初始化後啟動一個線程，定時串連其他節點，作為心跳檢測,
_go
loadLastOpTimeWritten    擷取oplog.rs 表的最後同步時間
{ ts: Timestamp 1373520206000|1, h: 0, v: 2, op: "n", ns: "", o: { msg: "initiating set" } }
startThreads();           下面重點分析
newReplUp();            為_logOp函數指標綁定 函數，cud操作都會使用該函數先鎖local庫

startThreads 函數主體部分如下

void  ReplSetImpl::startThreads() {
task::fork(mgr);
mgr->send( boost::bind(&Manager::msgCheckNewState, theReplSet->mgr) );
if (myConfig().arbiterOnly) {
return;
}
boost::thread t(startSyncThread);
replset::BackgroundSync* sync = replset::BackgroundSync::get();
boost::thread producer(boost::bind(&replset::BackgroundSync::producerThread, sync));
boost::thread notifier(boost::bind(&replset::BackgroundSync::notifierThread, sync));
task::fork(ghost);
// member heartbeats are started in ReplSetImpl::initFromConfig
}

這裡主要就是3個線程一個函數，startSyncThread，producerThread，notifierThread，msgCheckNewState下面瞭解一下這3個線程的各自的作用和函數msgCheckNewState的作用

（1）msgCheckNewState    節點狀態切換，投票選舉等，這裡就不詳細分析

（2）producerThread  線程分析（只有從節點才起該線程）
_producerThread
Produce
getOplogReader   擷取一個同步資料節點
tailingQueryGTE   擷取同步節點的oplog資料
{                把同步到的oplog資料存入buffer中
BSONObj o = r.nextSafe().getOwned();
_buffer.push(o);
}

（3） startSyncThread   線程分析

while（1）
_syncThread        下面詳見主體部分
void ReplSetImpl::_syncThread() {
       // Check criteria for doing an initial sync:
        // 1. If the oplog is empty, do an initial sync
        // 2. If minValid has _initialSyncFlag set, do an initial sync
if (lastOpTimeWritten.isNull() || getInitialSyncFlag()) {
syncDoInitialSync();
return; // _syncThread will be recalled, starts from top again in case sync failed.
}

  /* we have some data.  continue tailing. */
replset::SyncTail tail(replset::BackgroundSync::get());
tail.oplogApplication();
}
函數加粗部分的說明已經說明了函數的作用，就是從主節點擷取oplog
tail.oplogApplication();
multiApply               此函數把前一個producerThread 線程讀取的日誌寫入自身資料庫
applyOpsToOplog         更新同步的最新時間戳記

（3）notifierThread    （比較不好理解）大概意思就是通知服務端，我們已經成功接同步資料了

總結： 複本集 的實現原理，就是一個線程不停的進行心跳檢測及節點狀態改變投票選舉

一個線程從服務節點（不一定是主節點）擷取oplog資料放到自身的buffer中

一個線程從自身的buffer中把資料同步到自身的資料庫中

一個線程通知服務節點資料同步完畢

線程之間的配合用到了wait，notify機制