java分布式任務調度xxl-job

小陳博主 2017-11-30 21:11:56

前言碎語

在單機應用時期，任務調度一般都是基於spring schedule和整合quartz來實現的，當系統發展成分布式服務，應用多執行個體的時候，任務就會出現多次調用的問題，很多時候我們任務並不需要跑多次。解決方案有很多，最最簡單粗暴的就是可以設定應用開關。其次就是集中式話任務管理調度。當然，quartz也有叢集模式，但是基於api控制並不直觀。下面介紹一個集中式的分布式任務調度架構，可以很方便的解決分布式任務調度的問題

一，xxl-job簡介

XXL-JOB是一個輕量級分布式任務調度架構，其核心設計目標是開發迅速、學習簡單、輕量級、易擴充。現已開放原始碼並接入多家公司線上產品線，開箱即用。功能如下

1、簡單：支援通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；

2、動態：支援動態修改任務狀態、暫停/恢複任務，以及終止運行中任務，即時生效；

3、調度中心HA（中心式）：調度採用中心式設計，“調度中心”基於叢集Quartz實現，可保證調度中心HA；

4、執行器HA（分布式）：任務分布式執行，任務"執行器"支援叢集部署，可保證任務執行HA；

5、任務Failover：執行器叢集部署時，任務路由策略選擇"容錯移轉"情況下調度失敗時將會平滑切換執行器進行Failover；

6、一致性：“調度中心”通過DB鎖保證叢集分布式調度的一致性, 一次任務調度只會觸發一次執行；

7、自訂任務參數：支援線上配置調度任務入參，即時生效；

8、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；

9、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；

10、郵件警示：任務失敗時支援郵件警示，支援配置多郵件地址群發警示郵件；

11、狀態監控：支援即時監控任務進度；

12、Rolling執行日誌：支援線上查看調度結果，並且支援以Rolling方式即時查看執行器輸出的完整的執行日誌；

13、GLUE：提供Web IDE，支援線上開發工作單位邏輯代碼，動態發布，Just-In-Time 編譯生效，省略部署上線的過程。支援30個版本的曆史版本回溯。

14、資料加密：調度中心和執行器之間的通訊進行資料加密，提升調度資訊安全性；

15、任務依賴：支援配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；

16、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用;

17、任務註冊: 執行器會周期性自動註冊任務, 調度中心將會自動探索註冊的任務並觸發執行。同時，也支援手動錄入執行器地址；

18、路由策略：執行器叢集部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、容錯移轉、忙碌轉移等；

19、運行報表：支援即時查看運行資料，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分布圖，調度成功分布圖等；

20、指令碼任務：支援以GLUE模式開發和運行指令碼任務，包括Shell、Python等類型指令碼;

21、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串列（預設）、丟棄後續調度、覆蓋之前調度；

22、失敗處理策略；調度失敗時的處理策略，策略包括：失敗警示（預設）、失敗重試；

23、分區廣播任務：執行器叢集部署時，任務路由策略選擇"分區廣播"情況下，一次任務調度將會廣播觸發叢集中所有執行器執行一次任務，可根據分區參數開發分區任務；

24、動態分區：分區廣播任務以執行器為維度進行分區，支援動態擴容執行器叢集從而動態增加分區數量，協同進行業務處理；在進行大資料量業務操作時可顯著提升任務處理能力和速度。

25、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支援基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。

二、快速入門

項目地址為：https://github.com/xuxueli/xxl-job

2.1 初始化“調度資料庫”

請下載項目源碼並解壓，擷取 "調度資料庫初始化SQL指令碼" 並執行即可，正常情況下應該產生16張表。

"調度資料庫初始化SQL指令碼" 位置為:

/xxl-job/doc/db/tables_xxl_job.sql

調度中心支援叢集部署，叢集情況下各節點務必串連同一個mysql執行個體;

如果mysql做主從,調度中心叢集節點務必強制走主庫;

2.2 編譯源碼

解壓源碼,按照maven格式將源碼匯入IDE, 使用maven進行編譯即可，源碼結構如下：

xxl-job-admin：調度中心

xxl-job-core：公用依賴

xxl-job-executor：執行器Sample樣本（選擇合適的版本執行器，可直接使用，也可以參考其並將現有項目改造成執行器）

：xxl-job-executor-sample-spring：Spring版本，通過Spring容器管理執行器，比較通用，推薦這種方式；

：xxl-job-executor-sample-springboot：Springboot版本，通過Springboot管理執行器；

：xxl-job-executor-sample-jfinal：JFinal版本，通過JFinal管理執行器；

2.3 配置部署“調度中心”

調度中心項目：xxl-job-admin

作用：統一管理工作調度平台上調度任務，負責觸發調度執行，並且提供任務管理平台。

步驟一：調度中心配置：

調度中心設定檔地址：

/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

調度中心配置內容說明：

### 調度中心JDBC連結：連結地址請保持和 2.1章節 所建立的調度資料庫的地址一致

xxl.job.db.driverClass=com.mysql.jdbc.Driver

xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8

xxl.job.db.user=root

xxl.job.db.password=root_pwd

### 警示郵箱

xxl.job.mail.host=smtp.163.com

xxl.job.mail.port=25

xxl.job.mail.username=ovono802302@163.com

xxl.job.mail.password=asdfzxcv

xxl.job.mail.sendFrom=ovono802302@163.com

xxl.job.mail.sendNick=《任務調度平台XXL-JOB》

### 登入帳號

xxl.job.login.username=admin

xxl.job.login.password=123456

### 調度中心通訊TOKEN，非空時啟用

xxl.job.accessToken=

步驟二：部署項目：

如果已經正確進行上述配置，可將項目編譯打war包並部署到tomcat中。 調度中心訪問地址：http://localhost:8080/xxl-job-admin (該地址執行器將會使用到，作為回調地址)，登入後運行介面如下圖所示

至此“調度中心”項目已經部署成功。

步驟三：調度中心叢集（可選）：

調度中心支援叢集部署，提升調度系統可用性。

叢集部署唯一要求為：保證每個叢集節點配置（db和登陸帳號等）保持一致。調度中心通過db配置區分不同叢集。

調度中心在叢集部署時可通過nginx負載平衡，此時可以為叢集分配一個網域名稱。該網域名稱一方面可以用於訪問，另一方面也可以用於配置執行器回調地址。

2.4 配置部署“執行器項目”

“執行器”項目：xxl-job-executor-sample-spring (如建立執行器項目，可參考該Sample樣本執行器項目的配置步驟；)

作用：負責接收“調度中心”的調度並執行；可直接部署執行器，也可以將執行器整合到現有商務專案中。

步驟一：maven依賴

確認pom檔案中引入了 "xxl-job-core" 的maven依賴；

步驟二：執行器配置

執行器配置，設定檔地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-spring/src/main/resources/xxl-job-executor.properties

執行器配置，配置內容說明：

### xxl-job admin address list：調度中心部署跟地址：如調度中心叢集部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳註冊"和"任務結果回調"。

xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job executor address：執行器"AppName"和地址資訊配置：AppName執行器心跳註冊分組依據；地址資訊用於"調度中心請求並觸發任務"和"執行器註冊"。執行器預設連接埠為9999，執行器IP預設為空白表示自動擷取IP，多網卡時可手動設定指定IP，手動設定IP時將會綁定Host。單機部署多個執行器時，注意要配置不同執行器連接埠；

xxl.job.executor.appname=xxl-job-executor-sample

xxl.job.executor.ip=

xxl.job.executor.port=9999

### xxl-job log path：執行器作業記錄檔案儲存體的磁碟位置，需要對該路徑擁有讀寫權限

xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler/

### xxl-job, access token：執行器通訊TOKEN，非空時啟用

xxl.job.accessToken=

步驟三：執行器組件配置

執行器組件，設定檔地址：

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample-spring/src/main/resources/applicationcontext-xxl-job.xml

執行器組件，配置內容說明：

<!-- 配置01、JobHandler 掃描路徑：自動掃描容器中JobHandler -->

<context:component-scan base-package="com.xxl.job.executor.service.jobhandler" />

<!-- 配置02、執行器Excutor配置：執行器核心配置 -->

<bean id="xxlJobExecutor" class="com.xxl.job.core.executor.XxlJobExecutor" init-method="start" destroy-method="destroy" >

<!-- 執行器IP[選填]，為空白則自動擷取 -->

<property name="ip" value="${xxl.job.executor.ip}" />

<!-- 執行器連接埠號碼[必須] -->

<property name="port" value="${xxl.job.executor.port}" />

<!-- 執行器AppName[選填]，為空白則關閉自動註冊 -->

<property name="appName" value="${xxl.job.executor.appname}" />

<!-- 執行器註冊中心地址[選填]，為空白則關閉自動註冊 -->

<property name="adminAddresses" value="${xxl.job.admin.addresses}" />

<!-- 執行器日誌路徑[必填] -->

<property name="logPath" value="${xxl.job.executor.logpath}" />

<!-- 存取權杖，非空則進行匹配校正[選填] -->

<property name="accessToken" value="${xxl.job.accessToken}" />

</bean>

步驟四：部署執行器項目：

如果已經正確進行上述配置，可將執行器項目編譯打部署，系統提供三個執行器Sample樣本項目，選擇其中一個即可，各自的部署方式如下。

xxl-job-executor-sample-spring：項目編譯打包成WAR包，並部署到tomcat中。

xxl-job-executor-sample-springboot：項目編譯打包成springboot類型的可執行JAR包，命令啟動即可；

至此“執行器”項目已經部署結束。

步驟五：執行器叢集（可選）：

執行器支援叢集部署，提升調度系統可用性，同時提升任務處理能力。

叢集部署唯一要求為：保證叢集中每個執行器的配置項 "xxl.job.admin.addresses/調度中心地址" 保持一致，執行器根據該配置進行執行器自動註冊等操作。

2.5 開發第一個任務“Hello World”

本樣本以建立一個 “GLUE模式(Java)” 運行模式的任務為例。更多有關任務的詳細配置，請查看“章節三：任務詳解”。 （ “GLUE模式(Java)”的執行代碼託管到調度中心線上維護，相比“Bean模式任務”需要在執行器項目開發部署上線，更加簡便輕量）

前提：請確認“調度中心”和“執行器”項目已經成功部署並啟動；

步驟一：建立任務：

登入調度中心，點擊下圖所示“建立任務”按鈕，建立樣本任務。然後，參考下面截圖中任務的參數配置，點擊儲存。

步驟二：“GLUE模式(Java)” 任務開發：

請點擊任務右側 “GLUE” 按鈕，進入 “GLUE編輯器開發介面” ，見下圖。“GLUE模式(Java)” 運行模式的任務預設已經初始化了樣本任務代碼，即列印Hello World。 （ “GLUE模式(Java)” 運行模式的任務實際上是一段繼承自IJobHandler的Java類代碼，它在執行器項目中運行，可使用@Resource/@Autowire注入執行器裡中的其他服務）

步驟三：觸發執行：

請點擊任務右側 “執行” 按鈕，可手動觸發一次任務執行（通常情況下，通過配置Cron運算式進行任務調度出發）。

步驟四：查看日誌：

請點擊任務右側 “日誌” 按鈕，可前往任務日誌介面查看任務日誌。 在任務日誌介面中，可查看該任務的曆史調度記錄以及每一次調度的任務調度資訊、執行參數和執行資訊。運行中的任務點擊右側的“執行日誌”按鈕，可進入日誌控制台查看即時執行日誌。