大資料量表的複雜查詢

大體現在：

 

1、要查詢的表的資料量很大；

2、要返回的結果的資料量很大；

 

複雜體現在：

1、要關聯多個大資料量表的資料進行查詢

2、查詢條件也很複雜。

 

例如：

天翼閱讀 有一個 使用者畫像組的功能。

要求根據使用者的行為，將使用者篩選到不同的使用者組。

使用者表：大約1000萬資料

使用者訂購消費資料：可能上億資料

使用者登陸情況資料：也可能上億資料

使用者閱讀電子書量資料：可能上億

使用者閱讀電子書內容資料：上億

 

要統計上述使用者行為3個月內的資料，比如消費資料訂購量大於30，小於50，消費金額大魚100，小於300，等等。此種情況該怎麼實現查詢呢？

 

可以採用分表查詢，並且將結果直接寫入到一個暫存資料表裡。

 

比如：先統計 3 個月內消費資料訂單量大於30，小於50的使用者放到導一個暫存資料表，其它條件查詢結果的使用者也放到一個暫存資料表裡，最後在關聯這些暫存資料表表得到最終的結果。

 

最後在預存程序裡直接把結果入庫。