社区网站建设,移动应用开发心得体会,湖南省疾控中心,阿里巴巴怎么做企业网站前言#xff1a; Celery 是一个 基于python开发的分布式异步消息任务队列#xff0c;通过它可以轻松的实现任务的异步处理#xff0c; 如果你的业务场景中需要用到异步任务#xff0c;就可以考虑使用celery#xff0c; 举几个实例场景中可用的例子: 你想对100台机器执行一…前言 Celery 是一个 基于python开发的分布式异步消息任务队列通过它可以轻松的实现任务的异步处理 如果你的业务场景中需要用到异步任务就可以考虑使用celery 举几个实例场景中可用的例子: 你想对100台机器执行一条批量命令可能会花很长时间 但你不想让你的程序等着结果返回而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果 在任务执行ing进行时你可以继续做其它的事情。 你想做一个定时任务比如每天检测一下你们所有客户的资料如果发现今天 是客户的生日就给他发个短信祝福Celery有以下优点 简单一单熟悉了celery的工作流程后配置和使用还是比较简单的高可用当任务执行失败或执行过程中发生连接中断celery 会自动尝试重新执行任务快速一个单进程的celery每分钟可处理上百万个任务灵活 几乎celery的各个组件都可以被扩展及自定制Celery基本工作流程图 1、 Celery安装使用 Celery需要在linux的环境下运行 1 2 3 4 5 6 # 安装 [rootlocalhost celerys]# pip3 install celery # 进入python import无异常表示安装成功 [rootlocalhost celerys]# python3 import celery Celery的默认broker是RabbitMQ, 仅需配置一行就可以 1 broker_url amqp://guest:guestlocalhost:5672// 使用Redis做broker也可以 1 2 broker_url redis://localhost:6379/0 #redis://:passwordhostname:port/db_number 2、简单使用 创建一个任务文件就叫tasks.py: 1 2 3 4 5 6 7 8 9 10 11 12 from celery import Celery import time app Celery(cly, # 任意 brokerredis://192.168.1.166:6379/0, # 中间件 backendredis://localhost) # 数据存储 app.task def add(x,y): time.sleep(10) print(running...,x,y) return xy 启动Celery Worker来开始监听并执行任务 1 2 3 4 5 # 加入环境变量 [rootlocalhost ~]# PATH$PATH:/usr/local/python3.5/bin/ # 启动一个worker [rootlocalhost celerys]# celery -A tasks worker --loglevelinfo 调用任务 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 [rootlocalhost celerys]# python3 Python 3.5.2 (default, Jul 7 2017, 23:36:01) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type help, copyright, credits or license for more information. from tasks import add # import add add.delay(4,6) # 执行函数 AsyncResult: 4b5a8ab6-693c-4ce5-b779-305cfcdf70cd # 返回taskid result add.delay(4,6) # 执行函数 result.get() # 同步获取结果,一直等待 10 result.get(timeout1) # 设置超时时间过期错误异常 Traceback (most recent call last): --strip-- celery.exceptions.TimeoutError: The operation timed out. result add.delay(4,a) # 执行错误命令 result.get() # get后获取到错误信息触发异常 Traceback (most recent call last): --strip-- celery.backends.base.TypeError: unsupported operand type(s) for : int and str result add.delay(4,a) result.get(propagateFalse) # propagateFalse 不触发异常获取错误信息 TypeError(unsupported operand type(s) for : int and str,) result.traceback # 获取具体错误信息 log打印用 Traceback (most recent call last):\n File /usr/local/python3.5/lib/python3.5/site-packages/celery/app/trace.py, line 367, in trace_task\n R retval fun(*args, **kwargs)\n File /usr/local/python3.5/lib/python3.5/site-packages/celery/app/trace.py, line 622, in __protected_call__\n return self.run(*args, **kwargs)\n File /data/celerys/tasks.py, line 12, in add\n return xy\nTypeError: unsupported operand type(s) for : \int\ and \str\\n 此时worker端收到的信息 1 2 3 4 [2017-07-08 03:12:22,565: WARNING/PoolWorker-1] running... # 获取到任务 [2017-07-08 03:12:22,565: WARNING/PoolWorker-1] 4 [2017-07-08 03:12:22,565: WARNING/PoolWorker-1] 6 # 任务执行完毕数据存储到backend端 [2017-07-08 03:12:22,567: INFO/PoolWorker-1] Task tasks.add[683e395e-48b9-4d32-b3bb-1492c62af393] succeeded in 10.01260852499945s: 10 查看broker(即192.168.1.166)端数据 1 2 3 4 5 6 [rootlocalhost redis-3.0.6]# src/redis-cli 127.0.0.1:6379 keys * 1) _kombu.binding.celeryev 2) unacked_mutex 3) _kombu.binding.celery.pidbox 4) _kombu.binding.celery 执行完后backend端的数据 1 2 3 [rootlocalhost redis-3.0.6]# src/redis-cli # 程序get后,数据未被删除 127.0.0.1:6379 keys * 1) celery-task-meta-683e395e-48b9-4d32-b3bb-1492c62af393 转载于:https://www.cnblogs.com/zknublx/p/9090162.html
