Celery(三)執行個體Application

標籤：tab   form   celery   簡單的   環境   upd   int   執行個體化   設定檔   

Celery必須執行個體化後才可以使用，執行個體稱之為application或者簡稱app。執行個體是安全執行緒的，多個Celery執行個體(不同的配置、組件和任務)都可以在一個進程空間中運行。

建立一個最簡單的app：

>>> from celery import Celery>>> app = Celery()>>> app<Celery __main__ at 0x7f6be52d0cd0>

上述的app是一個運行在__main__模組中的Celery執行個體。

Main Name

Celery發送任務資訊時，是不發送任何原始碼的，只是發送要執行的任務名稱，而每個worker都維持著一個任務名稱到任務具體函數的映射，稱之為任務註冊。

所以每個任務task都要有一個獨特的不重複名稱，可以看下任務預設名稱是如何產生的：

>>> @app.task... def add(x, y):...     return x + y... >>> add.nameu‘__main__.add‘

可見任務的名稱是執行個體運行模組的名稱加上任務函數的名稱。

現在在py檔案中建立一個app執行個體，tasks.py：

from celery import Celeryapp = Celery()@app.taskdef add(x, y): return x + yif __name__ == ‘__main__‘:    print add.name    app.worker_main()

在shell中直接建立Celery執行個體、模組直接運行或者在命令列中運行模組，都是在main模組中啟動並執行：

$ python tasks.py__main__.add

而使用import匯入模組的時候，main name為定義Celery執行個體模組的名稱：

>>> from tasks import add>>> add.nameu‘tasks.add‘

在main模組中運行是可以手動指定執行個體的Main name的：

>>> from celery import Celery>>> app = Celery(‘tasks‘)>>> app.main‘tasks‘

任務的名稱也可以指定：

>>> @app.task(name=‘sum-of-two-numbers‘)>>> def add(x, y):...     return x + y>>> add.name‘sum-of-two-numbers‘

Configuration

要為app執行個體添加配置有幾種方式：

建立app執行個體時初始化：

app = Celery(‘tasks‘, backend=‘redis://localhost:6379/0‘,    ┆   ┆   ┆broker=‘redis://localhost:6379/0‘)

使用app.conf屬性設定：

app.conf.result_backend = ‘redis://localhost:6379/0‘app.conf.broker_url = ‘redis://localhost:6379/0‘

update多個配置：

>>> app.conf.update(...     enable_utc=True,...     timezone=‘Asia/Shanghai‘,...)

使用設定檔，在目前的目錄下或者python可以搜尋到的目錄下建立一個設定檔，保證可以import，celeryconfig.py ：

result_backend = ‘redis://localhost:6379/0‘broker_url = ‘redis://localhost:6379/0‘

然後：

app.config_from_object(‘celeryconfig‘)

可以測試一下設定檔是否有格式錯誤：

$ python -m celeryconfig

也可以建立一個配置類：

class Config:    enable_utc = True    timezone = ‘Europe/London‘app.config_from_object(Config)

從環境變數中擷取：

import osfrom celery import Celery#: Set default configuration module nameos.environ.setdefault(‘CELERY_CONFIG_MODULE‘, ‘celeryconfig‘)app = Celery()app.config_from_envvar(‘CELERY_CONFIG_MODULE‘)

查看配置：

>>> app.conf.humanize(with_defaults=False, censored=True)>>> app.conf.table(with_defaults=False, censored=True)

第一條以字串的形式返回，第二條以字典的形式返回。

with_defaults設定為True時可以查看預設的配置，censored設定為True可以過濾掉敏感資訊，包括API, TOKEN, KEY, SECRET, PASS, SIGNATURE, DATABASE。

 Laziness

app執行個體是延遲的，建立一個執行個體只會將app設定為current app，只有在真正需要的時候才會完成。

執行個體只有在調用app.finalize()方法或者訪問app.tasks屬性時才會完成。

Finalizing執行個體會複製apps之間可以共用的tasks，執行未確定的tasks裝飾器，確定所有的tasks都綁定於current app。

app.task裝飾器並不會真正的建立task任務，直到task被調用或者app finalize完成時才建立：

>>> from celery import Celery>>> app = Celery()>>> @app.task... def add(x, y):...     return x + y... >>> add.__evaluated__()False>>> repr(add)‘<@task: __main__.add of __main__ at 0x7f6571694cd0>‘>>> add.__evaluated__()True

調用了task的__repr__方法後，task就被真正建立了。

Breaking the chain

當使用current app時，最好將其作為參數進行傳遞，稱之為app chain，比較好的實踐是：

class Scheduler(object):    def __init__(self, app):        self.app = app

而不要：

from celery import current_appclass Scheduler(object):    def run(self):        app = current_app

通用的的寫法：

from celery.app import app_or_defaultclass Scheduler(object):    def __init__(self, app=None):        self.app = app_or_default(app)

開發時可以設定：

$ CELERY_TRACE_APP=1 celery worker -l info

當app chain斷裂時會raise一個異常。

Abstract Tasks

使用app.task裝飾器建立的任務都繼承自Task類。

可以自訂：

from celery import Taskclass DebugTask(Task):    def __call__(self, *args, **kwargs):        print(‘TASK STARTING: {0.name}[{0.request.id}]‘.format(self))        return super(DebugTask, self).__call__(*args, **kwargs)

然後用base參數指定：

@app.task(base=DebugTask)def add(x, y):    return x + y

也可以使用app的Task參數修改：

>>> app.Task = DebugTask

　　

Celery(三)執行個體Application