使用celery在django项目中实现异步发送短信
在项目的目录下创建celery_tasks用于保存celery异步任务。
在celery_tasks目录下创建config.py文件,用于保存celery的配置信息
```broker_url = "redis://127.0.0.1/14"```
在celery_tasks目录下创建main.py文件,用于作为celery的启动文件
from celery import Celery # 为celery使用django配置文件进行设置 import os if not os.getenv('DJANGO_SETTINGS_MODULE'): os.environ['DJANGO_SETTINGS_MODULE'] = 'model.settings.dev' # 创建celery应用 app = Celery('model') #导入celery配置 app.config_from_object('celery_tasks.config') #自动注册celery任务 app.autodiscover_tasks(['celery_tasks.sms'])
在celery_tasks目录下创建sms目录,用于放置发送短信的异步任务相关代码。
将提供的发送短信的云通讯SDK放到celery_tasks/sms/目录下。
在celery_tasks/sms/目录下创建tasks.py(这个名字是固定的,非常重要,系统将会自动从这个文件中找任务队列)文件,用于保存发送短信的异步任务
import logging from celery_tasks.main import app from .yuntongxun.sms import CCP logger = logging.getLogger("django") #验证码短信模板 SMS_CODE_TEMP_ID = 1 @app.task(name='send_sms_code') def send_sms_code(mobile, code, expires): 发送短信验证码 :param mobile: 手机号 :param code: 验证码 :param expires: 有效期 :return: None try: ccp = CCP() result = ccp.send_template_sms(mobile, [code, expires], SMS_CODE_TEMP_ID) except Exception as e: logger.error("发送验证码短信[异常][ mobile: %s, message: %s ]" % (mobile, e)) else: if result == 0: logger.info("发送验证码短信[正常][ mobile: %s ]" % mobile) else: logger.warning("发送验证码短信[失败][ mobile: %s ]" % mobile)
在verifications/views.py中改写SMSCodeView视图,使用celery异步任务发送短信
from celery_tasks.sms import tasks as sms_tasks class SMSCodeView(GenericAPIView): ... # 发送短信验证码 这是将时间转化为分钟,constants.SMS_CODE_REDIS_EXPIRES 是常量 sms_code_expires = str(constants.SMS_CODE_REDIS_EXPIRES // 60) sms_tasks.send_sms_code.delay(mobile, sms_code, sms_code_expires) return Response({"message": "OK"})
在django中使用celery的定时调度任务,执行讲redis的缓存内容定时同步到mysql数据库
1、首先,在config文件中配置调度
from celery.schedules import crontab from .main import app # 任务队列的链接地址 broker_url = 'redis://test.zhuzhaoxia.com:6379/15' # 结果队列的链接地址 result_backend = 'redis://test.zhuzhaoxia.com:6379/14' # 定时任务的调度列表,用于注册定时任务 app.conf.beat_schedule = { 'write_article_to_mysql': { # 本次定时调度的任务 'task': 'write_article', # 这里的任务名称必须先到main.py中注册 # 定时任务的调度周期 # 'schedule': 60, # 每120秒执行 'schedule': crontab(hour=3), # 每天凌晨3点 # 'args': (16, 16), # 注意:任务就是一个函数,所以如果有参数则需要传递 }, }
2、在main.py中引入tasks文件
# app.autodiscover_tasks(["任务1","任务2"]) app.autodiscover_tasks(["mycelery.sms","mycelery.mail", "mycelery.article"])
3、在tasks.py文件中写入任务:
from mycelery.main import app from artical.models import Article from django_redis import get_redis_connection from datetime import datetime @app.task(name="write_article") def write_article(): """把redis的缓存文章定时写入到mysql中""" redis_conn = get_redis_connection("article") history_list = redis_conn.keys("article_history_*") for user_history_list_bytes in history_list: user_history_list = user_history_list_bytes.decode() user_id = int( user_history_list.split("_")[-1] ) artical_list = redis_conn.hgetall(user_history_list) # 获取到用户的历史记录的最新文章和save_id for artical_id_bytes, save_id_bytes in artical_list.items(): artical_id = artical_id_bytes.decode() save_id = save_id_bytes.decode() article_dict = redis_conn.hgetall("article_%s_%s_%s" % (user_id, artical_id, save_id)) # 获取到最新的文章保存信息 try: article = Article.objects.get(pk=artical_id) article.title = article_dict["title".encode()].decode() article.content = article_dict["content".encode()].decode() article.save_id = save_id timestamp = datetime.fromtimestamp(int(float(article_dict["update_time".encode()].decode()))) article.updated_time = timestamp article.save() except Article.DoesNotExist: pass
4、启动beat调度节点
celery beta -A mycelery.main --loglevel=info
5、重启异步调度节点
celery -A mycelery.main worker --loglevel=info