快速任務處理架構

來源:互聯網
上載者:User

背景:使用者在設定某一時刻觸發某項任務,任務處理架構按照時間先後依次處理任務,即如果使用者佈建了9:30,9:31,9:32這3個時刻分別需要執行100個任務,那麼任務系統在9:30時執行相應的任務,全部處理完之後再處理9:31的,也就是說9:31的任務是否執行不僅要看時間是否到點,還要看前面的任務是否完成。並且需要實現可擴充的架構,可以通過加機器來增加任務的處理能力。

架構設計:

1.任務的儲存

這裡為了快速整套架構是在redis的基礎上實現的,也利用了一些redis的特性,不過一般分布式的緩衝系統都應該提供了相應的功能。

記憶體中儲存任務資訊主要是兩個方面

1).NS:TASK_ID_FOR_WHEN

Key:任務id——taskId

Value:任務時間——taskDate

2).NS:TASK_DATE_INDEX

Key:根據當前距離1970多少天和設定的儲存多少天資料的長度(這裡假設打算儲存30天的資料,那就是30)模數

HashKey:對應每天的秒數:secondInDay

HashValue: 對應的任務資料taskInfo

2.任務的分配

DistributeTaskService是一個java類,當類被載入的時候,通過ZK擷取到鎖的機器將啟動RunDistributeTaskThread
線程,該線程從TASK_DATE_INDEX 取day指標和秒指標對應的資料,這裡需要用緩衝記錄下任務啟動並執行指標避免任務被停掉時丟失當前指標的位置。如果目前時間指標沒有資料,那麼sleep一下。如果有資料那麼儲存到redis

NS:TASK_STORE

key:TASK_KEY

value:任務資料列表

將記錄放到redis的TASK_STORE,並刪除掉已經分發的redis原來區TASK_DATE_INDEX的記錄,然後指標往下移動一位

3.任務的執行

TaskService 被載入時調起RunTaskThread線程,從第二部的TASK_STORE中leftPop出記錄並處理。這裡可以用多機多線程來處理,因為leftPop是安全執行緒的

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.