44. Python Celery多執行個體 定時任務

來源:互聯網
上載者:User

標籤:celery

celery是一個分布式的任務調度模組,那麼celery是如何和分布式掛鈎呢?

celery可以支援多台不同的電腦執行不同的任務或者相同的任務。

如果要說celery的分布式應用的話,就要提到celery的訊息路由機制,提到AMQP協議。

具體可以查看AMQP文檔詳細瞭解。

簡單理解:

可以有多個"訊息佇列"(message Queue),不同的訊息可以指定發送給不同的Message Queue,

而這是通過Exchange來實現的,發送訊息到"訊息佇列"中時,可以指定routiing_key,Exchange通過routing_key來吧訊息路由(routes)到不同的"訊息佇列"中去。

exchange 對應 一個訊息佇列(queue),即:通過"訊息路由"的機制使exchange對應queue,每個queue對應每個worker

寫個例子:

vim demon3.py

from celery import Celeryapp = Celery()app.config_from_object("celeryconfig")@app.taskdef taskA(x, y):    return x * y@app.taskdef taskB(x, y, z):    return x + y + z@app.taskdef add(x, y):    return x + y

vim celeryconfig.py

from kombu import QueueBORKER_URL = "redis://192.168.48.131:6379/1"#1庫CELERY_RESULT_BACKEND = "redis://192.168.48.131:6379/2"#2庫CELERY_QUEUES = {    Queue("default", Exchange("default"), routing_key = "default"),    Queue("for_task_A", Exchange("for_task_A"), routing_key = "for_task_A"),    Queue("for_task_B", Exchange("for_task_B"), routing_key = "for_task_B")}#路由CELERY_ROUTES = {    "demon3.taskA":{"queue": "for_task_A",  "routing_key": "for_task_A"},    "demon3.taskB":{"queue": "for_task_B",  "routing_key": "for_task_B"}}

下面把兩個指令碼匯入伺服器:

指定taskA啟動一個worker:

# celery -A demon3 worker -l info -n workerA.%h -Q for_task_A

同理:

# celery -A demon3 worker -l info -n workerB.%h -Q for_task_B

下面遠程用戶端調用:新檔案

vim remote.py

from demon3 import *r1 = taskA.delay(10, 20)print (r1.result)print (r1.status)r2 = taskB.delay(10, 20, 30)time.sleep(1)prnit (r2.result)print (r2.status)#print (dir(r2))r3 = add.delay(100, 200)print (r3.result)print (r3.status)#PENDING

看到狀態是PENDING,表示沒有執行,這個是因為沒有celeryconfig.py檔案中指定改route到哪一個Queue中,所以會被發動到預設的名字celery的Queue中,但是我們還沒有啟動worker執行celery中的任務。

下面,我們來啟動一個worker來執行celery隊列中的任務

# celery -A tasks worker -l info -n worker.%h -Q celery ##預設的

可以看到這行的結果為success

print(re3.status)    #SUCCESS


定時任務:

Celery 與 定時任務

在celery中執行定時任務非常簡單,只需要設定celery對象中的CELERYBEAT_SCHEDULE屬性即可。

下面我們接著在設定檔:celeryconfig.py,添加關於 CELERYBEAT_SCHEDULE 變數到指令碼中去:

CELERY_TIMEZONE = 'UTC'CELERYBEAT_SCHEDULE = {    'taskA_schedule' : {        'task':'tasks.taskA',        'schedule':20,        'args':(5,6)    },'taskB_scheduler' : {    'task':"tasks.taskB",    "schedule":200,    "args":(10,20,30)    },'add_schedule': {    "task":"tasks.add",    "schedule":10,    "args":(1,2)    }}

注意格式,否則會有問題

啟動:

celery -A demon3 worker -l info -n workerA.%h -Q for_task_A

celery -A demon3 worker -l info -n workerB.%h -Q for_task_B

celery -A tasks worker -l info -n worker.%h -Q celery

celery -A demon3 beat


44. Python Celery多執行個體 定時任務

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.