MySQL分表實現上百萬上千萬記錄分布儲存的批量查詢設計模式詳解

我們知道可以將一個海量記錄的 MySQL 大表根據主鍵、時間欄位，條件欄位等分成若干個表甚至儲存在若干伺服器中。
唯一的問題就是跨伺服器批量查詢麻煩，只能通過應用程式來解決。談談在Java中的解決思路。其他語言原理類似。
這裡說的分表不是 MySQL 5.1 的 partition，而是人為把一個表分開存在若干表或不同的伺服器。
1. 應用程式層級實現
見

electThreadManager 分表資料查詢管理器
它為分表的每個database or server 建立一個 thread pool
addTask() - 新增工作
stopTask() - 停止任務
getResult() - 擷取執行結果
最快的執行時間 = 最慢的 MySQL 節點查詢消耗時間
最慢的執行時間 = 逾時時間
某個 ThreadPool 忙時候處理流程
1. 假如 ThreadPoolN 非常忙，(也意味 DB N 非常忙)；
2. 新的查詢任務到來，addTask(), 新的任務的一個thread加到ThreadPoolN任務排隊中
3. 外層應用已經獲得其他 thread 返回結果，繼續等待
4. 外層應用等待逾時的時間到，調用 stopTask() 設定該任務全部 thread 中的停止標誌, 外層應用返回。
5. 若干時間後，ThreadPoolN取到該排隊 Thread, 因為設定了停止位，線程直接運行完成。
2. JDBC 層實現
做一個 JDBC Driver 的封裝，攔截 PreparedStatement, Statement 的 executeQuery()
然後調用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由於單張表的資料跨檔案，批量查詢時候同樣存在上述問題，不過它是在 MySQL 內部實現的，不需要外部調用者關心。其查詢實現的原理應該大致類似。
但 partition 只解決了 IO 的瓶頸，並不能解決 CPU 計算的瓶頸，因此無法代替傳統的手工分表方式。