celery 实现异步任务 定时任务

博客前言

 1.注意事项

　　　　1.在做celery异步任务和定时任务时，有些人使用django-celery+django-redis+celery+redis+django-celery-beat实现

　　　　2.但是这种实现方法和django结合过于紧密，不利于分布式部署

　　　　3.而且不同版本相结合,一旦不小心安装升级一个包，会导致各种报错

　　　　4.配置也比较繁琐，很多同学在使用时易出错

2、安装相关包

　　

pip install Django==2.2
pip install celery==4.4.7
pip install redis==3.5.3
#一定注意版本

3.celery的基本使用

　　1、创建tasks.py文件进行验证

　　

from celery import Celery
import time

app = Celery('TASK',
             broker='redis://localhost',        
             backend='redis://localhost')

@app.task
def add(x, y):
   print("running..add.", x, y)
   return x + y

@app.task
def minus(x, y):
   time.sleep(60)
   print("running..minus.", x, y)
   return x - y

tasks.py

1、启动Celery Worker来开始监听并执行任务

　　　　　　　　celery -A tasks worker --loglevel=info            # tasks是tasks.py文件：必须在tasks.py所在目录下执行

　　　　2、调用任务：再打开两个终端，进行命令行模式，调用任务

　　　　　　　　 >>> import tasks

　　　　　　　　>>> import tasks

　　　　　　　　>>> t2 = tasks.minus.delay(9,11)

　　　　　　　　#然后在另一个终端重复上面步骤执行

　　　　　　　　>>> t1 = tasks.add.delay(3,4)

　　　　　　　　>>> t1.get()                                                   #由于t2执行sleep了3s所以t1.get()需要等待

　　2、celery其他命令

　　　　　　>>> t.ready()                                              #返回true证明可以执行，不必等待

　　　　　　>>> t.get(timeout=1)                                       #如果1秒不返回结果就超时,避免一直等待

　　　　　　>>> t.get(propagate=False)                          　　　　#如果执行的代码错误只会打印错误信息

　　　　　　>>> t.traceback                                             #打印异常详细结果

1.2 在django项目中使用 
　　

2、opwf_project/celery_task文件夹

# celery.py
# -*- coding: utf-8 -*-
from celery import Celery
import os,sys
import django

# 1.添加django项目根路径
CELERY_BASE_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, os.path.join(CELERY_BASE_DIR, '../opwf'))

# 2.添加django环境
os.environ.setdefault("DJANGO_SETTINGS_MODULE","opwf.settings")
django.setup() # 读取配置


# 3.celery基本配置
app = Celery('proj',
             broker='redis://localhost:6379/14',
             backend='redis://localhost:6379/15',
             include=['celery_task.tasks',
                      'celery_task.tasks2',
                      ])

# 4.实例化时可以添加下面这个属性
app.conf.update(
   result_expires=3600,        #执行结果放到redis里，一个小时没人取就丢弃
)

# 5.配置定时任务：每5秒钟执行 调用一次celery_pro下tasks.py文件中的add函数
app.conf.beat_schedule = {
    'add-every-5-seconds': {
        'task': 'celery_task.tasks.test_task_crontab',
        'schedule': 5.0,
        'args': (16, 16)
    },
}

# 6.添加时区配置
app.conf.timezone = 'UTC'

if __name__ == '__main__':
   app.start()


celery.py

# -*- coding: utf-8 -*-
from celery import Celery
import os,sys
import django

# 1.添加django项目根路径
CELERY_BASE_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.insert(0, os.path.join(CELERY_BASE_DIR, '../opwf'))

# 2.添加django环境
os.environ.setdefault("DJANGO_SETTINGS_MODULE","opwf.settings")
django.setup() # 读取配置


# 3.celery基本配置
app = Celery('proj',
             broker='redis://localhost:6379/14',
             backend='redis://localhost:6379/15',
             include=['celery_task.tasks',
                      'celery_task.tasks2',
                      ])

# 4.实例化时可以添加下面这个属性
app.conf.update(
   result_expires=3600,        #执行结果放到redis里，一个小时没人取就丢弃
)

# 5.配置定时任务：每5秒钟执行 调用一次celery_pro下tasks.py文件中的add函数
app.conf.beat_schedule = {
    'add-every-5-seconds': {
        'task': 'celery_task.tasks.test_task_crontab',
        'schedule': 5.0,
        'args': (16, 16)
    },
}

# 6.添加时区配置
app.conf.timezone = 'UTC'

if __name__ == '__main__':
   app.start()


tasks.py

# -*- coding:utf8 -*-
from .celery import app
import time,random

@app.task
def randnum(start,end):
    time.sleep(3)
    return random.randint(start,end)

tasks2.py

3、opwf_project/opwf/utils

# -*- coding: utf-8 -*-
# utils/rl_sms.py
from ronglian_sms_sdk import SmsSDK
from user.models import User


accId = '8a216da8747ac98201749c0de38723b7'
accToken = '86072b540b4648229b27400414150ef2'
appId = '8a216da8747ac98201749c0de45123be'


def send_message(phone, datas):
    user = User.objects.all()[0]
    print(user.username, '%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%')
    sdk = SmsSDK(accId, accToken, appId)
    tid = '1'  # 测试模板id为: 1. 内容为: 【云通讯】您的验证码是{1}，请于{2}分钟内正确输入。
    # mobile = '13303479527'
    # datas = ('666777', '5')  # 模板中的参数按照位置传递
    # resp = sdk.sendMessage(tid, phone, datas)
    print("##########################################")
    print('执行了这个方法 send_message')
    return ''


def test_crontab(x,y):
    print('############### 执行test_crontab测试任务 #############')
    print('############### 邮件审批超时提醒 #############')

rl_sms.py

 4、在django项目中调用

# 1.导入任务
from celery_task import tasks
# 2.执行异步任务
tasks.send_sms_code.delay(18538752511,())