1.celery框架使用
一.celery框架使用
""" 1、celery框架自带socket，所以自身是一个独立运行的服务 2、启动celery服务，是来执行服务中的任务的，服务中带一个执行任务的对象，会执行准备就绪的任务，将执行任务的结果保存起来 3、celery框架由三部分组成：存放要执行的任务broker，执行任务的对象worker，存放任务结果的backend 4、安装的celery主体模块，默认只提供worker，要结合其他技术提供broker和backend（两个存储的单位） """
官方
Celery 官网：http://www.celeryproject.org/
Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html
Celery 官方文档中文版：
celery架构
Celery的架构由三部分组成，消息中间件（message broker）、任务执行单元（worker）和 任务执行结果存储（backend - task result store）组成。
#### 消息中间件 存放要执行的任务 Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等 #### 任务执行单元 Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。 #### 任务结果存储 Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等
使用场景：
异步任务：将耗时操作任务提交给Celery去异步执行，比如发送短信/邮件、消息推送、音视频处理等等
定时任务：定时执行某件事情，比如每天数据统计
Celery的安装配置
pip install celery
消息中间件：RabbitMQ/Redis
app=celery.Celery('任务名', broker='xxx', backend='xxx', include=['xxx', 'xxx'])
包架构封装
project ├── celery_task # celery包 │ ├── __init__.py # 包文件 │ ├── celery.py # celery连接和配置相关文件，且名字必须交celery.py │ └── tasks.py # 所有任务函数 ├── add_task.py # 添加任务 └── get_result.py # 获取结果
简单使用：
celery.py
# 1）创建app + 任务 # 2）启动celery(app)服务： # 非windows # 命令：celery worker -A celery_task -l info # windows： # pip3 install eventlet # celery worker -A celery_task -l info -P eventlet # 3）添加任务：手动添加，要自定义添加任务的脚本，右键执行脚本 # 4）获取结果：手动获取，要自定义获取任务的脚本，右键执行脚本 from celery import Celery # 通过Celery功能产生一个celery应用 / 后面的是你要使用的库 broker = 'redis://127.0.0.1:6379/14' # 存放要执行任务的仓库 backend = 'redis://127.0.0.1:6379/15' # 存放执行结果的仓库 include = ['celery_task.task1','celery_task.task2'] # 任务们，完成需求函数所在的文件 # app应用名 app = Celery(broker=broker,backend=backend,include=include)
task1.py
from .celery import app @app.task # 一个任务就是一个函数，任务的执行结果就是函数的返回值 def add(n1,n2): print('运算数',n1,n2) print('运算结果：%s' % (n1 + n2)) print(n1 + n2)
task2.py
from . celery import app @app.task def low(n1,n2): print('减法：%s'%(n1 - n2)) return n1 - n2
添加celery任务的脚本.py
from celery_task import task1,task2 # 使用模块中的函数，和celery没有任何关系 # res = task1.add(10,15) # print(res) # res2 = task2.low(5,10) # print(res2 # 调用celery框架的方法，完成任务的添加 # 手动添加立即任务，调用delay就相当于将add交给celery进行调用，delay函数的参数与add保持一致 # 手动添加立即任务，就是任务添加立即执行 # res = task1.add.delay(100,150) # print(res) # res2 = task2.low.delay(88,66) # print(res2) # 手动添加延迟任务 from datetime import datetime, timedelta def eta_second(second): ctime = datetime.now() utc_ctime = datetime.utcfromtimestamp(ctime.timestamp()) time_delay = timedelta(seconds=second) return utc_ctime + time_delay # args就是执行low函数所需参数 res = task2.low.apply_async(args=(200, 50), eta=eta_second(10)) print(res)
获取任务结果的脚本.py
from celery_task.celery import app from celery.result import AsyncResult id = '02e7f7f7-927d-456d-866b-3728fe5ea65b' # 填写你需要查询结果的id if __name__ == '__main__': async = AsyncResult(id=id, app=app) if async.successful(): result = async.get() print(result) elif async.failed(): print('任务失败') elif async.status == 'PENDING': print('任务等待中被执行') elif async.status == 'RETRY': print('任务异常后正在重试') elif async.status == 'STARTED': print('任务已经开始被执行')
celery高级使用：
celery.py
# 1）创建app + 任务 # 2）启动celery(app)服务： # 非windows # 命令：celery worker -A celery_task -l info # windows： # pip3 install eventlet # celery worker -A celery_task -l info -P eventlet # 3）添加任务：自动添加任务，所以要启动一个添加任务的服务 # 命令：celery beat -A celery_task -l info from celery import Celery # 通过Celery功能产生一个celery应用 / 后面的是你要使用的库 broker = 'redis://127.0.0.1:6379/14' # 存放要执行任务的仓库 backend = 'redis://127.0.0.1:6379/15' # 存放执行结果的仓库 include = ['celery_task.tasks'] # 任务们，完成需求函数所在的文件 # app应用名 app = Celery(broker=broker,backend=backend,include=include) # 启动worker：celery worker -A celery_task -l info -P eventlet # 启动beat：celery beat -A celery_task -l info # beat也是一个socket，启动后根据配置文件，自动添加任务(定时任务) # beta需要配置一下 # 当前地区时间 app.conf.timezone = 'Asia/Shanghai' # 是否使用UTC 如果改为True就需要把上面的当前地区时间注掉 app.conf.enable_utc = False from celery.schedules import crontab from datetime import timedelta app.conf.beat_schedule = { 'jump_task' : { 'task':'celery_task.tasks.jump', # 任务源 'schedule':timedelta(seconds=3), # 添加任务的时间配置，每三秒添加一次异常任务 # 'schedule':crontab(hour=8,day_of_week=1) # 每周一早八点 'args':(25,3),# 执行任务所需参数 } }
tasks.py
from . celery import app @app.task def jump(n1,n2): print('积：%s'% (n1 * n2)) return n1 * n2 @app.task def full(n1,n2): print('商：%s'% (n1 // n2)) return n1 // n2
celery在django中使用（重点*****************************************************************）
# 1）创建app + 任务 # 2）启动celery(app)服务： # 非windows # 命令：celery worker -A celery_task -l info # windows： # pip3 install eventlet # celery worker -A celery_task -l info -P eventlet # 3）添加任务：自动添加任务，所以要启动一个添加任务的服务 # 命令：celery beat -A celery_task -l info # 启动worker：celery worker -A celery_task -l info -P eventlet # 启动beat：celery beat -A celery_task -l info # beat也是一个socket，启动后根据配置文件，自动添加任务(定时任务)
注意：**********************************
如果celery_task不在项目跟目录下，就需要把项目的目录添加到环境变量为中 *************
celery.py
# 配置django环境 ''' 如果celery_task不在项目跟目录下，就需要把项目的目录添加到环境变量为中 ************* ''' import os, django import sys # sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))) os.environ.setdefault("DJANGO_SETTINGS_MODULE", "luffyapi.settings.dev") django.setup() from celery import Celery # 通过Celery功能产生一个celery应用 / 后面的是你要使用的库 broker = 'redis://127.0.0.1:6379/14' # 存放要执行任务的仓库 backend = 'redis://127.0.0.1:6379/15' # 存放执行结果的仓库 include = ['celery_task.tasks'] # 任务们，完成需求函数所在的文件 # app应用名 app = Celery(broker=broker,backend=backend,include=include) # beta需要配置一下 # 当前地区时间 app.conf.timezone = 'Asia/Shanghai' # 是否使用UTC 如果改为True就需要把上面的当前地区时间注掉 app.conf.enable_utc = False from celery.schedules import crontab from datetime import timedelta app.conf.beat_schedule = { 'update_banner_list_task' : { 'task':'celery_task.tasks.update_banner_list', # 任务源 'schedule':timedelta(seconds=10), # 添加任务的时间配置，每三秒添加一次异常任务 # 'schedule':crontab(hour=8,day_of_week=1) # 每周一早八点 'args':(),# 执行任务所需参数 }}
tasks.py
''' 更新缓存，比如说你删除了一张轮播图片，你刷新页面，走的还是缓存， 还是原来的，没有同步，这个时候就需要用到了celery定时更新 ''' from . celery import app from home.models import Banner from settings.const import BANNER_COUNT from home.serializers import BannerModelSerializer from django.core.cache import cache @app.task def update_banner_list(): # 拿到最新的类容 banner_query = Banner.objects.filter(is_delete=False,is_show=True).order_by('-orders')[:BANNER_COUNT] # 使用序列化类 多个数据，需要many=True banner_data = BannerModelSerializer(banner_query,many=True).data # 需要手动拼接一下 for banner in banner_data: banner['image'] = 'http://127.0.0.1:8000' + banner['image'] # 将缓存更新 cache.set('banner_list',banner_data) # 需要结果就返回 return True
celery的三种使用场景（重点）
''' # 重点： celery三种任务的使用场景：立即任务，延迟任务，定时任务 url:发送短信的接口/email/ - 发送者地址 与 发送消息（发送的时间） 视图类：EmailAPIView - post post逻辑： # 添加 立即任务 和 延迟任务 1) 交给celery异步立即执行：拿到celery_task包中的任务，调用delay就可以将任务交给celery异步执行 2) 定时发送短信(延迟到指定时间发送)：拿到celery_task包中的任务，根据发送时间确定延迟执行时间，调用apply_async延迟执行 定时任务：定时爬虫，定时更新(接口缓存更新) '''