背景:使用者在設定某一時刻觸發某項任務,任務處理架構按照時間先後依次處理任務,即如果使用者佈建了9:30,9:31,9:32這3個時刻分別需要執行100個任務,那麼任務系統在9:30時執行相應的任務,全部處理完之後再處理9:31的,也就是說9:31的任務是否執行不僅要看時間是否到點,還要看前面的任務是否完成。並且需要實現可擴充的架構,可以通過加機器來增加任務的處理能力。
架構設計:
1.任務的儲存
這裡為了快速整套架構是在redis的基礎上實現的,也利用了一些redis的特性,不過一般分布式的緩衝系統都應該提供了相應的功能。
記憶體中儲存任務資訊主要是兩個方面
1).NS:TASK_ID_FOR_WHEN
Key:任務id——taskId
Value:任務時間——taskDate
2).NS:TASK_DATE_INDEX
Key:根據當前距離1970多少天和設定的儲存多少天資料的長度(這裡假設打算儲存30天的資料,那就是30)模數
HashKey:對應每天的秒數:secondInDay
HashValue: 對應的任務資料taskInfo
2.任務的分配
DistributeTaskService是一個java類,當類被載入的時候,通過ZK擷取到鎖的機器將啟動RunDistributeTaskThread
線程,該線程從TASK_DATE_INDEX 取day指標和秒指標對應的資料,這裡需要用緩衝記錄下任務啟動並執行指標避免任務被停掉時丟失當前指標的位置。如果目前時間指標沒有資料,那麼sleep一下。如果有資料那麼儲存到redis
NS:TASK_STORE
key:TASK_KEY
value:任務資料列表
將記錄放到redis的TASK_STORE,並刪除掉已經分發的redis原來區TASK_DATE_INDEX的記錄,然後指標往下移動一位
3.任務的執行
TaskService 被載入時調起RunTaskThread線程,從第二部的TASK_STORE中leftPop出記錄並處理。這裡可以用多機多線程來處理,因為leftPop是安全執行緒的