分布式任务队列 Celery —— Task对象

转载至 JmilkFan_范桂飓：http://blog.csdn.net/jmilk

前文列表

分布式任务队列 Celery
分布式任务队列 Celery —— 详解工作流
 分布式任务队列 Celery —— 应用基础

前言

紧接前文，继续深入了解 Celery Tasks。示例代码依旧在前文的基础上进行修改。

Tasks 是 Celery 的基石，原型类为 celery.app.task:Task，它提供了两个核心功能：

将任务消息发送到队列
声明 Worker 接收到消息后需要执行的具体函数

Task 的实例化

使用装饰器 app.task 来装饰一个普通函数，就可以轻松创建出一个任务函数。

from proj.celery import app

@app.task
def add(x, y):
    return x + y

值得注意的是，任务函数本质上已经不再是一个普通函数，而是一个 celery.app.task:Task 实例对象。

>>> from proj.task.tasks import add
>>> dir(add)
['AsyncResult', 'MaxRetriesExceededError', ..., 'apply_async', 'delay', u'name', 'on_bound', 'on_failure', 'on_retry', 'on_success', 'request', 'retry', 'subtask', ...]

所以任务函数才可以调用 delay/apply_async 等属于 Task 的实例属性和方法。

>>> add.apply_async
<bound method add.apply_async of <@task: proj.task.tasks.add of proj at 0x7fedb363a790>>
>>> add.delay
<bound method add.delay of <@task: proj.task.tasks.add of proj at 0x7fedb363a790>>

这是一个非常重要的认识「app.task 的 “装饰” 动作，其实是 Task 的实例化过程」，而装饰器的参数就是 Task 初始化的参数。
官方文档（http://docs.celeryproject.org/en/latest/userguide/tasks.html#list-of-options）提供了完整的 app.task 装饰器参数列表。

除此之外，还需要注意「多装饰器顺序」的坑，app.task 应该始终放到最后使用，才能保证其稳定有效。

app.task
@decorator2
@decorator1
def add(x, y):
    return x + y

任务的名字

每个任务函数都具有唯一的名字，这个名字被包含在任务消息中，Worker 通过该名字来找到具体执行的任务函数。默认的，Task 会启用自动命名，将函数的全路径名作为任务名。

>>> add.name
u'proj.task.tasks.add'

当然了，也可以通过指定装饰器参数 name 来指定任务名。

@app.task(name='new_name')
def add(x, y):
    return x + y

>>> from proj.task.tasks import add
>>> add.name
'new_name'

但为了避免命名冲突的问题，一般不建议这么做，除非你很清楚自己的做什么。

任务的绑定

既然任务函数本质是一个 Task 实例对象，那么当然也可以应用 self 绑定特性。

# 启用绑定：
@app.task(bind=True)
def add(self, x, y):
    print("self: ", self)
    return x + y

>>> add.delay(1, 2)
<AsyncResult: 1982dc85-694b-4ceb-849b-5f69e40b4fe9>

这里写图片描述

绑定对象 self 十分重要，Task 的很多高级功能都是依靠它作为载体来调用的。例如：任务重试功能，请求上下文功能。

任务的重试

任务重试功能的实现为 Task.retry，它将任务消息重新发送到同一个的队列中，以此来重启任务。

@app.task(bind=True, max_retries=3)
def send_twitter_status(self, oauth, tweet):
    try:
        twitter = Twitter(oauth)
        twitter.update_status(tweet)
    except (Twitter.FailWhaleError, Twitter.LoginError) as exc:
        raise self.retry(exc=exc)

max_retries 指定了最大的重试次数
exc 指定将异常信息输出到日志，需要开启 result backend。

如果你仅希望触发特定异常时才进行重试，可以应用 Task 的「Automatic retry for known exceptions」特性。

# 只有在触发 FailWhaleError 异常时，才会重试任务，且最多重试 5 次。
@app.task(autoretry_for=(FailWhaleError,), retry_kwargs={'max_retries': 5})
def refresh_timeline(user):
    return twitter.refresh_timeline(user)

任务的请求上下文

在 Celery 请求 Worker 执行任务函数时，提供了请求的上下文，这是为了让任务函数在执行过程中能够访问上下文所包含的任务状态和信息。

@app.task(bind=True)
def dump_context(self, x, y):
    print('Executing task id {0.id}, args: {0.args!r} kwargs: {0.kwargs!r}'.format(
            self.request))

>>> from proj.task.tasks import dump_context
>>> dump_context.delay(1, 2)
<AsyncResult: 00bc9f96-98df-4bca-a4a3-4774c535a44c>