Celery --beat on Heroku 与 Worker 和 Clock 进程

服务器

使用Celery在Heroku上运行任务调度器（beat）和工作进程（worker）是一种高效的方式，可以轻松地管理和执行定时任务。Celery是一个强大的分布式任务队列框架，可以让我们更方便地处理异步任务。在这篇文章中，我们将探讨如何在Heroku上设置和运行Celery的beat和worker进程，并提供相应的代码示例。

首先，我们需要在Heroku上创建一个应用，并安装Celery和Redis插件。Celery使用Redis作为消息代理和结果存储，因此我们需要确保在Heroku上安装并配置Redis插件。安装过程可以通过Heroku的命令行工具或者Heroku网站完成。

一旦应用和插件安装完成，我们需要创建一个名为Procfile的文件，并在其中定义我们的进程类型。我们将创建两个进程类型：beat和worker。beat进程负责调度定时任务，而worker进程负责执行这些任务。以下是一个示例Procfile文件的内容：

web: gunicorn myapp:app
worker: celery -A myapp.worker worker --loglevel=info
beat: celery -A myapp.beat beat --loglevel=info

在上面的示例中，我们使用gunicorn作为web进程的服务器，myapp是我们应用的主模块。worker进程和beat进程分别使用Celery的命令行工具来启动。-A参数指定了我们应用的入口模块，--loglevel=info参数用于设置日志级别。

接下来，我们需要创建一个名为myapp.py的Python文件，并在其中定义我们的应用。我们将在myapp.py文件中定义beat进程和worker进程的入口模块。以下是一个示例的myapp.py文件的内容：

Python
from celery import Celery
app = Celery('myapp', broker='redis://localhost:6379/0')
@app.task
def add(x, y):
    return x + y
if __name__ == '__mAIn__':
    app.start()

在上面的示例中，我们创建了一个Celery应用，并将其与Redis消息代理进行了连接。我们还定义了一个名为add的任务函数，用于执行两个数字的相加操作。最后，我们使用if __name__ == '__mAIn__'的条件判断来启动beat进程和worker进程。

现在，我们可以通过运行以下命令在Heroku上启动我们的应用：

$ heroku ps:scale worker=1
$ heroku ps:scale beat=1

以上命令将分别启动一个worker进程和一个beat进程，并将它们与我们的应用关联起来。

在Celery中设置定时任务

在上面的示例中，我们已经定义了一个名为add的任务函数。现在，我们将演示如何使用Celery的beat进程来调度这个任务的执行。

为了设置定时任务，我们需要在myapp.py文件中添加一个名为beat_schedule的字典，用于指定任务的调度规则。以下是一个示例的beat_schedule字典的内容：

Python
from datetime import timedelta
beat_schedule = {
    'add-every-30-seconds': {
        'task': 'myapp.add',
        'schedule': timedelta(seconds=30),
        'args': (16, 16)
    },
}

在上面的示例中，我们定义了一个名为add-every-30-seconds的定时任务，它将每30秒执行一次add任务，并传递参数16和16。

最后，我们需要修改myapp.py文件中的app定义，以指定调度规则。以下是修改后的代码：

Python
app = Celery('myapp', broker='redis://localhost:6379/0', beat_schedule=beat_schedule)

现在，我们可以重新部署我们的应用，并通过Heroku的日志查看定时任务的执行情况：

$ git push heroku master
$ heroku logs --tAIl

在本文中，我们介绍了如何在Heroku上使用Celery的beat进程和worker进程来管理和执行定时任务。我们首先创建了一个Heroku应用，并安装了Celery和Redis插件。接着，我们创建了一个Procfile文件，定义了beat和worker进程的启动命令。然后，我们创建了一个myapp.py文件，定义了我们的应用，并设置了定时任务的调度规则。最后，我们通过Heroku命令行工具启动我们的应用，并查看定时任务的执行情况。

通过使用Celery在Heroku上运行任务调度器和工作进程，我们可以更加高效地管理和执行定时任务，提高应用的可靠性和性能。希望本文对您有所帮助，谢谢阅读！