Do you know what celery is? Let's take a look and learn how to use it.

Celery 简介和原理

Celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作，但对调度支持也很好。Celery 用于生产系统每天处理数以百万计的任务。Celery 是用 Python 编写的，但该协议可以在任何语言实现。

简单来说就是你可以交给 celery 一些工作，它可以帮你同时的完成，而你并不需要等着。说白了就是一打工仔，但是 celery 一个顶很多个。

Celery 是怎么顶多个打工仔的呢？ 其实是因为celery workers ，它是 Celery 的一个工作队列，里面有多少worker(任务执行单元)就可以同时干多少件任务。

这时我们又必须说到 Celery 中的另一个概念了：broker。 broker是一个消息中间件，可以理解成一个邮箱。如果没有broker，当你丢给 Celery 任务时，如果恰好所有的worker都在工作，那么你就必须等待有一个worker完成任务才可以。broker的引入正好解决可这个问题，你只需要把任务告诉 broker，它就会帮你传递给 worker。

但这样又出现了新的问题，你无法得知broker什么时候传递任务，也无法得知worker什么时候完成任务。为此，Celery 实现了一个backend用于任务完成的结果。

原理图

Celery 本身不提供消息服务，但是可以方便的使用第三发提供，如：RabbitMQ Redis Amazon SQS

Worker 是 Celery 提供的任务执行的单元，worker 并发的运行在分布式的系统节点中

Celery 支持以不同的方式存储任务的结果，如：AMQP, redis，memcached, mongodb，SQLAlchemy, Django ORM，Apache Cassandra, IronCache ....

Celery 的安装

安装

您可以通过 python 的 pip 安装或通过源代码进行安装 Celery，使用 pip 进行安装：

1
2
3

$ pip install -U Celery

 -U 不存在下载celery，存在更新celery

捆绑

Celery 自定义了一组用于安装 Celery 和特定功能的依赖。

您可以在中括号加入您需要依赖，并可以通过逗号分割需要安装的多个依赖包。

1
2

$ pip install "celery[librabbitmq]"
$ pip install "celery[librabbitmq,redis,auth,msgpack]"

Celery 的简单使用

Celery 上手比较简单，不需要配置文件就可以直接运行，大多数情况下，使用默认的配置就可以满足。

这是一个简单的 Demo：

1
2
3
4
5
6
7
8

from celery import Celery

# broker指定中间人，我选择的是redis
# backend指定存储任务结果的数据库，我没有使用
app = Celery('hello', broker='redis://127.0.0.1:3679/1')
@app.task
def hello():
   return 'hello world'

然后在 shell 中启动 celery

1
2
3
4

celery -A hello worker --loglevel=info
# -A 是Application的首字母
# hello是应用的所在
# --loglevel=info 指定log等级

使用

1
2

from hello import hello
hello.delay()