MySQL 利用多線程提升查詢效能的一種思路

背景

報表統計類的查詢是一類耗時的查詢。使用情境是QPS並不大，單每個查詢由於需要訪問較多資料，對大量資料做處理，執行時間較長（通常秒級以上）。

分析

可以將一個大查詢分成多個子查詢，如果子查詢需要訪問的資料為整個查詢的1/n，則可估計執行時間為1/n。但由於MySQL一個查詢只能在單線程中執行，導致即使將一個大查詢拆分成多個子查詢，多個子查詢執行後合并，需要時間為n*1/n=1，仍不能提升其效能。

問題的癥結在於只能單線程執行。本方案提供一種引擎Multi-thread-query，讓MySQL能夠用多線程同時執行多個子查詢。由於還要做一點合并工作，整個查詢的時間將略大於n個子查詢中查詢時間最長的一個，即效能接近n倍。

最後一部分舉了一個例子，n=3。

方案說明

1、圖示

2、使用者對MTQ發起查詢，MTQ拆分成多個子查詢向實體表發起多線程查詢。

3、MTQ等待全部線程執行完成後，可以在此基礎上執行其他函數操作，如count、avg、group by等。

4、需要修改SQL查詢格式，子查詢如何拆分，由使用者在查詢裡面指定。

5、適用於每個子查詢都是計算量大，返回結果少的情況。（若返回結果越多，合并耗時越大）

舉例

以一個統計查詢需求為例（資料是構造的，木有神馬泄密問題）

一個正常的查詢如下：

查詢結果

相同機器上使用MTQ查詢文法：

MTQ查詢結果

可以看到，時間從3s減少為1.2s，查詢結果相同，查詢語句上可以直接做sum、group by操作。