如何批量處理大資料

標籤：

1. 通過資料狀態（未處理、處理中、處理完成）

2. 分頁 分層

3. 通過資料鎖定 select for update （多安全執行緒）

4. 事務 

 

執行個體：

使用者表、兌換資格表、兌換資格統計表

1. 千萬使用者

2. 使用者通過簽到擷取若干兌換資格

3. 定時任務在固定時間統計每個使用者去年未兌換的資格總數

4. 使用者可手動兌換，此時 未兌換->兌換中 ，也需要更新統計表

 

具體實現：

通過select 非處理中使用者並加鎖，然後更新處理狀態為（處理中）

迴圈處理這N條資料。

for{

鎖定統計表

更新統計資料

更新使用者表為處理完成（這三步在同一個事務裡）

}

 

問題1：定時任務多執行緒每個使用者如何不重複

通過select 鎖定 N 條使用者，然後把這些使用者更新為資格統計中。（這兩步在同一個事務裡）

然後處理這N個使用者（在另外的事務裡）

問題2：如果處理結束出現異常，使用者表狀態依舊是處理中 怎麼辦？如何區分是正在處理還是處理異常？

手動更新某個時間點之前的所有處理中為未處理，比如10天前。此時即便兩個線程同時處理，由於統計表被鎖，也會先後處理，不存在資料安全問題。

 

如何批量處理大資料