使用Mysql搭建簡單的可持續的Cache系統

       過段時間WangWang要搞運營活動了，這兩天在設計系統的時候有個需求，需要實現半小時內的資料更新500萬次左右，資料量不大，最多一千萬； 使用資料庫肯定是實現不了，需要使用Cache系統來延遲匯入到DB中。但普通的memcache由於資料是存在於記憶體中，那麼當程式crash或則機器down的時候，資料將丟失，可靠性不能滿足。 自己開發一套pesistented memcache，但需要時間開發，進度不允許，因此想到了mysql 的memory DB機制。Mysql 採用外掛程式機制，支援memory db方式。 通過複製技術，實現資料的雙機備份。 再對mysql 的memory db進行效能測試，測試結果表明，使用普通的伺服器（2cpu)，可以實現15000~25000/s 的資料插入/更新操作，能夠 滿足15000/s資料讀操作。  從測試結果看，效能上可以滿足500萬 半小時的要求，另外由於使用複製技術，也滿足了資料的可靠性要求。畢竟2台機器同時down的機率我們可以忽略不計。

      配置複製的時候,把sync_binlog=0.  提高更新操作.

     使用mysqlbinlog來恢複資料. 當mysql的機器down或則mysqld伺服器程式down的時候,可以使用mysqlbinlog來恢複資料. 如

mysqlbinlog --disable-log-bin -l /tmp/ --force-read  --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql

 

經過測試,對1000萬條記錄更新操作的日誌,進行恢複,大概需要花20分鐘