Redis+MongoDB 最佳實務 做到讀寫分離 -摘自網路

標籤：

方案1. (被否定)

 

加上Redis，做到MongoDB的讀寫分離，單一進程從MongoDB及時把任務同步到Redis中。

看起來很完美，但是上線後出現了各種各樣的問題，列舉一下：

1.Redis隊列長度為多少合適？

2.同步進程根據優先順序從MongoDB向Redis同步過程中，一次取多少任務合適？太大導致很多無謂的開銷，太小又會頻繁操作MongoDB

3.當某一個子任務處理較慢的時候，會導致MongoDB的前面優先順序較高的任務沒有結束，而優先順序較低的確得不到處理，造成消費者空閑

 

最終方案：

在生產者產生一個任務的同時，向Redis同步任務，Redis sort set(有序集合，保證優先順序順序不變)，消費者通過RPC調用時候，RPC伺服器從Redis中取出任務，然後結束任務後從MongoDB中刪除。

測試結果，Redis插入效率。Redis-benchmark 並發150,32byte一個任務,一共100W個，插入效率7.3W(不使用持久化)

在這之前我們的擔心都是沒必要的，Redis的效能非常的好。

目前此套系統可以勝任每天5KW量的任務，我相信可以更多。

Redis+MongoDB 最佳實務 做到讀寫分離 -摘自網路