Python開發【模組】：Celery 分布式非同步訊息任務隊列

標籤：imp   定時   support   res   開發   到期   結果   rand   error   

Celery

前言：

Celery 是一個 基於python開發的分布式非同步訊息任務隊列，通過它可以輕鬆的實現任務的非同步處理， 如果你的業務情境中需要用到非同步任務，就可以考慮使用celery， 舉幾個執行個體情境中可用的例子:

• 你想對100台機器執行一條批量命令，可能會花很長時間 ，但你不想讓你的程式等著結果返回，而是給你返回 一個任務ID,你過一段時間只需要拿著這個任務id就可以拿到任務執行結果， 在任務執行ing進行時，你可以繼續做其它的事情。 
• 你想做一個定時任務，比如每天檢測一下你們所有客戶的資料，如果發現今天 是客戶的生日，就給他發個簡訊祝福

Celery有以下優點：

• 簡單：一單熟悉了celery的工作流程後，配置和使用還是比較簡單的
• 高可用：當任務執行失敗或執行過程中發生串連中斷，celery 會自動嘗試重新執行任務
• 快速：一個單進程的celery每分鐘可處理上百萬個任務
• 靈活： 幾乎celery的各個組件都可以被擴充及自定製

Celery基本工作流程圖：

 

1、 Celery安裝使用

Celery需要在linux的環境下運行：

# 安裝[[email protected] celerys]# pip3 install celery# 進入python import無異常表示安裝成功[[email protected] celerys]# python3>>> import celery

Celery的預設broker是RabbitMQ, 僅需配置一行就可以

broker_url = ‘amqp://guest:[email protected]:5672//‘

使用Redis做broker也可以

broker_url = ‘redis://localhost:6379/0‘#redis://:[email protected]:port/db_number

 

2、簡單使用

建立一個任務檔案就叫tasks.py:

from celery import Celeryimport time app = Celery(‘cly‘,                                        # 任意             broker=‘redis://192.168.1.166:6379/0‘,        # 中介軟體             backend=‘redis://localhost‘)                  # 資料存放區 @app.taskdef add(x,y):    time.sleep(10)    print("running...",x,y)    return x+y

啟動Celery Worker來開始監聽並執行任務：

# 加入環境變數[[email protected] ~]# PATH=$PATH:/usr/local/python3.5/bin/# 啟動一個worker[[email protected] celerys]# celery -A tasks worker --loglevel=info

調用任務：

[[email protected] celerys]# python3 Python 3.5.2 (default, Jul  7 2017, 23:36:01) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linuxType "help", "copyright", "credits" or "license" for more information.>>> from tasks import add                   # import add>>> add.delay(4,6)                          # 執行函數<AsyncResult: 4b5a8ab6-693c-4ce5-b779-305cfcdf70cd>   # 返回taskid>>> result = add.delay(4,6)                 # 執行函數>>> result.get()                            # 同步擷取結果,一直等待10>>> result.get(timeout=1)                   # 設定逾時時間，到期錯誤異常Traceback (most recent call last):    --strip--celery.exceptions.TimeoutError: The operation timed out.>>> result = add.delay(4,‘a‘)               # 執行錯誤命令>>> result.get()                            # get後擷取到錯誤資訊，觸發異常Traceback (most recent call last):     --strip--celery.backends.base.TypeError: unsupported operand type(s) for +: ‘int‘ and ‘str‘>>> result = add.delay(4,‘a‘)>>> result.get(propagate=False)             # propagate=False 不觸發異常，擷取錯誤資訊TypeError("unsupported operand type(s) for +: ‘int‘ and ‘str‘",)>>> result.traceback                        # 擷取具體錯誤資訊 log列印用‘Traceback (most recent call last):\n  File "/usr/local/python3.5/lib/python3.5/site-packages/celery/app/trace.py", line 367, in trace_task\n    R = retval = fun(*args, **kwargs)\n  File "/usr/local/python3.5/lib/python3.5/site-packages/celery/app/trace.py", line 622, in __protected_call__\n    return self.run(*args, **kwargs)\n  File "/data/celerys/tasks.py", line 12, in add\n    return x+y\nTypeError: unsupported operand type(s) for +: \‘int\‘ and \‘str\‘\n‘

此時worker端收到的資訊：

[2017-07-08 03:12:22,565: WARNING/PoolWorker-1] running...     # 擷取到任務[2017-07-08 03:12:22,565: WARNING/PoolWorker-1] 4[2017-07-08 03:12:22,565: WARNING/PoolWorker-1] 6              # 任務執行完畢資料存放區到backend端[2017-07-08 03:12:22,567: INFO/PoolWorker-1] Task tasks.add[683e395e-48b9-4d32-b3bb-1492c62af393] succeeded in 10.01260852499945s: 10

查看worker(即192.168.1.166)端資料：

[[email protected] redis-3.0.6]# src/redis-cli 127.0.0.1:6379> keys *1) "_kombu.binding.celeryev"2) "unacked_mutex"3) "_kombu.binding.celery.pidbox"4) "_kombu.binding.celery"

執行完後，backend端的資料：

[[email protected] redis-3.0.6]# src/redis-cli   # 程式get後,資料未被刪除127.0.0.1:6379> keys *1) "celery-task-meta-683e395e-48b9-4d32-b3bb-1492c62af393"

 

Python開發【模組】：Celery 分布式非同步訊息任務隊列