• Celery的简单使用

    Celery使用

    Celery是啥？

    官方：

    Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统
专注于实时处理的异步任务队列
同时也支持任务调度

注意：
"""
Celery is a project with minimal funding, so we don’t support Microsoft Windows. 
Please don’t open any issues related to that platform.
"""
大致翻译：
"""
官方声明：celery不适用于windows，在windows上操作可能会出错
"""

    总结：

    Celery是一个异步任务框架，能够执行异步、延时、定时任务

    Celery异步任务框架

    1）可以不依赖任何服务器，通过自身命令，启动服务(内部支持socket)
2）celery服务为为其他项目服务提供异步解决任务需求的
注：会有两个服务同时运行，一个是项目服务，一个是celery服务，项目服务将需要异步处理的任务交给celery服务，celery就会在需要时异步完成项目的需求
# 它是一个独立的项目，跟django是两个东西，在django项目重使用celery则需要加载django配置环境
import os
def main():
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
    import django
    django.setup()

    img

    两种celery任务结构：提倡用包管理，结构清晰

    # 如果 Celery对象:Celery(...) 是放在一个模块下的
# 1）终端切换到该模块所在文件夹位置：scripts
# 2）执行启动worker的命令：celery worker -A 模块名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：模块名随意

# 如果 Celery对象:Celery(...) 是放在一个包下的
# 1）必须在这个包下建一个celery.py的文件，将Celery(...)产生对象的语句放在该文件中
# 2）执行启动worker的命令：celery worker -A 包名 -l info -P eventlet
# 注：windows系统需要eventlet支持，Linux与MacOS直接执行：celery worker -A 模块名 -l info
# 注：包名随意

    windows上启动celery正常，执行任务时报错

    Traceback (most recent call last):
  File "c:userscircleappdatalocalprogramspythonpython37-32libsite-packagesilliardpool.py", line 358, in workloop
    result = (True, prepare_result(fun(*args, **kwargs)))
  File "c:userscircleappdatalocalprogramspythonpython37-32libsite-packagesceleryapp	race.py", line 546, in _fast_trace_task
    tasks, accept, hostname = _loc
ValueError: not enough values to unpack (expected 3, got 0)

    解决办法

    安装 pip install eventlet
重新输入如下名命令
# celery_task是包名,包下必须要有一个叫celery的文件
celery worker -A celery_task -l info -P eventlet

    Celery执行异步任务

    # 创建py文件：celery_app_task.py
import celery
import time
# broker='redis://:密码@127.0.0.1:6379/存储位置'
# backend='redis://:密码@127.0.0.1:6379/存储位置'
backend = 'redis://127.0.0.1:6379/1' # 结构存储，执行完的结果存在这里
broker = 'redis://127.0.0.1:6379/2'  # broker任务队列
app = Celery(__name__, backend=backend, broker=broker)
@app.task
def add(x,y):
    return x+y

# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet

    包架构封装（多任务结构）

    project
    ├── celery_task  	# celery包
    │   ├── __init__.py # 包文件
    │   ├── celery.py   # celery连接和配置相关文件，且名字必须叫celery.py
    │   └── tasks.py    # 所有任务函数
    ├── add_task.py  	# 添加任务
    └── get_result.py   # 获取结果

    基本使用

    celery.py

    # 1）创建app + 任务
# 2）启动celery(app)服务：
# 非windows
# 命令：celery worker -A celery_task -l info
# windows：
# pip3 install eventlet
# celery worker -A celery_task -l info -P eventlet
# 3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本
# 4）获取结果：手动获取，要自定义获取任务的脚本，右键执行脚本

from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks1', 'celery_task.tasks2'])

    tasks.py

    from .celery import app
import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

    add_task.py

    from celery_task import tasks
# 添加立即执行任务
t1 = tasks.add.delay(10, 20)
t2 = tasks.low.delay(100, 50)
print(t1.id)

# 添加延迟任务
from datetime import datetime, timedelta
eta=datetime.utcnow() + timedelta(seconds=10)
tasks.low.apply_async(args=(200, 50), eta=eta)

    get_result.py

    # 获取celery存入的值
from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

    高级使用（定时任务）

    celery.py

    from celery import Celery
broker = 'redis://127.0.0.1:6379/1'
backend = 'redis://127.0.0.1:6379/2'
app = Celery(broker=broker, backend=backend, include=['celery_task.tasks'])
# 设置时区
app.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab
app.conf.beat_schedule = {
    'low-task': {
        'task': 'celery_task.tasks.low',  # 设置定时的任务
        'schedule': timedelta(seconds=3), # 定时时间
        # 'schedule': crontab(hour=8, day_of_week=1),  # 每周一早八点
        'args': (300, 150), # 传入的参数
    }
}

# 命令行启动定时任务 celery beat -A 包名 -l info

    tasks.py

    from .celery import app

import time
@app.task
def add(n, m):
    print(n)
    print(m)
    time.sleep(10)
    print('n+m的结果：%s' % (n + m))
    return n + m

@app.task
def low(n, m):
    print(n)
    print(m)
    print('n-m的结果：%s' % (n - m))
    return n - m

    get_result.py

    from celery_task.celery import app
from celery.result import AsyncResult

id = '21325a40-9d32-44b5-a701-9a31cc3c74b5'
if __name__ == '__main__':
    async = AsyncResult(id=id, app=app)
    if async.successful():
        result = async.get()
        print(result)
    elif async.failed():
        print('任务失败')
    elif async.status == 'PENDING':
        print('任务等待中被执行')
    elif async.status == 'RETRY':
        print('任务异常后正在重试')
    elif async.status == 'STARTED':
        print('任务已经开始被执行')

    Django中使用celery

    1. 在项目根路径下创建一个包，包内必须有一个名为celery的py文件
    2. 包内还需要一个py文件用来写任务函数
    3. 在celery.py文件内需要加载django配置环境
    4. 创建celery框架对象app，配置broker和backend得到的对象app就是worker
    5. 给worker对应的app添加可处理的任务函数，用include配置给worker的app
    6. 完成提供的任务的定时配置app.conf.beat_schedule
    7. 启动celery服务，运行worker，执行任务
    8. 启动beat服务，运行beat，添加任务

    重点：由于采用了django的反射机制，使用celery.py所在的包必须放置项目的根目录下

    img

    celery.py

    # 加载django配置环境
import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffyapi.settings.dev')
# 实例化Celery，获取worker对象，include添加可处理的任务函数
from celery import Celery
broker = 'redis://127.0.0.1:6379/0'  # 数据存储位置
backend = 'redis://127.0.0.1:6379/1' # 返回值存储位置
app = Celery(__name__, broker=broker, backend=None, include=['celery_task.tasks'])

# 时区
app.conf.timezone = 'Asia/shanghai'
# 是否使用utc时间
app.conf.enable_utc = False

# 任务的定时配置
from datetime import timedelta
from celery.schedules import crontab

app.conf.beat_schedule = {
    'update-banner-list': {
        'task': 'celery_task.tasks.update_banner_list',
        'schedule': timedelta(seconds=5),
        'args': (),
    }
}

    tasks.py

    from .celery import app
from django.core.cache import cache
from django.conf import settings
from home import serializer, models


@app.task
def update_banner_list():
    queryset = models.Banner.objects.filter(is_delete=False, is_show=True).order_by('-display_order')[:settings.BANNER_COUNT]
    ser = serializer.BannerModelSerializer(instance=queryset, many=True)
    banner_list = ser.data
    for banner in banner_list:
        banner['banner_url'] = 'http://127.0.0.1:8000%s' % banner['banner_url']
    cache.set('banner_list', banner_list, 60*60*24)
    return True
  • 相关阅读:
    关于jabber协议
    xmpp相关链接，
    Implementation of the Server Dialback method as defined by the RFC3920
    好吧，隐藏的文件，
    Vue之methods watch和compute的区别和联系
    面向过程编程&面向对象编程
    JS高阶---线程与事件机制（小结）
    Vuex简介
    Vuex操作步骤
    vue单页面应用刷新网页后vuex的state数据丢失的解决方案
  • 原文地址：https://www.cnblogs.com/guanxiying/p/13375962.html
Copyright © 2020-2023  润新知