关于Python / Django和消息队列的build议

我在Django有一个应用程序,需要在各种用例中向用户发送大量的电子邮件。 我不想在应用程序内同步处理这个问题,原因很明显。

有任何人build议消息队列服务器与Python很好地集成,或者他们已经在Django项目上使用? 我的堆栈的其余部分是Apache,mod_python,MySQL。

10 Solutions collect form web for “关于Python / Django和消息队列的build议”

到目前为止,我没有发现这个“好”的解决scheme。 我有一些更严格的软实时要求(从一个纸箱拍摄的照片被标记),所以可能其中一种方法对您来说足够快。 我假设电子邮件可以等待几分钟。

  • 由cron作业处理的数据库中的“待办事项列表”。
  • 数据库中的“待办事项列表”由一个守护进程持续处理。
  • 使用通过UDP数据包通知Web服务器的自定义守护进程(在今天的生产中)。 基本上我自己的排队系统与IP栈来处理队列。
  • 使用ActiveMQ作为消息代理 – 由于稳定性问题,这并没有解决。 另外对我来说,Java守护进程通常有点丰满
  • 在CouchDB中使用更新触发器。 不错,但更新触发器并不意味着做沉重的image processing,所以不适合我的问题。

到目前为止,我还没有尝试RabbitMQ和XMPP / ejabebrd来处理这个问题,但他们在我的下一个尝试列表。 RabbitMQ在2008年得到了体面的Python连接,并且有大量的XMPP库。

但是也许你需要的是本地机器上正确configuration的邮件服务器。 这可能会允许您将邮件同步转储到本地邮件服务器,从而使您的整个软件栈变得更加简单。

在你的具体情况下,它只是一个电子邮件队列,我会采取简单的方法,并使用django邮件 。 作为一个好的方面,还有其他可插拔的项目,足够聪明,当他们看到堆栈中的django邮件的优势。

至于更一般的队列解决scheme,我还没有尝试过这些,但是这里有一些看起来更有趣的列表:

  1. pybeanstalk / beanstalkd
  2. python接口的齿轮 (这可能是更有趣的C版本的齿轮的发布 )
  3. memcacheQ
  4. 跺脚
  5. 芹菜

Stompserver是一个不错的select。 它是轻量级的,易于安装和易于使用从Django / python。

我们有一个系统在生产中使用stompserver发送电子邮件和asynchronous处理其他工作。

Django将电子邮件保存到数据库,Django中的model.post_save处理程序向stompserver发送事件,stompserver将事件传递给执行asynchronous任务(发送电子邮件)的使用者进程。

它可以很好地扩展,因为您可以在运行时添加消费者stream程 – 两个消费者可以发送两倍的电子邮件,而消费者可以在不同的机器上。 一个小小的复杂情况是,每个消费者都需要自己的命名队列,因此Django需要知道有多less消费者可用,并以循环方式将事件发送到每个队列。 (两个使用相同队列的消费者都会得到每个消息=重复)。 如果你只想要一个消费者stream程,那么这不是一个问题。

我们以前有过连续轮询数据库的过程,但是发现它为系统增加了很多负载,即使没有需要处理的东西。

只需将电子邮件添加到数据库,然后编写另一个由任务计划程序实用程序(cron想到)运行的脚本来发送电子邮件。

你可能想看看pymq 。 它用python编写,与客户端进行HTTP会话,并为队列提供大量的监控和pipe理选项。

使用邮件基础结构解决这个问题有什么不妥之处吗? 就像每个应用程序服务器都运行自己的邮件守护进程,这些守护进程将排队所有本地提交的邮件,这些邮件将转发到一个集中的邮件服务器,从而完成邮件繁重工作

如果你已经安装了MySQL,你可以创build一个表来用作“待办事项列表”。

线程同步向表中添加作业,批处理任务在作业完成时删除作业。

这样,就不需要安装和学习更多的软件,只要你不发送大量的电子邮件(比如> 10 /秒),它就可以很好地工作。

这是一个懒惰,但正确和适当的解决scheme。 使用以下数据库表作为队列。

drop table if exists mailqueue; create table mailqueue ( id bigint primary key, subject text not null, body mediumtext not null, from varchar(255) not null, to varchar(255) not null ); 

发件人应该在这张表的最后插入新的行。

设置工作线程从另一端(最低的ID)一次popup一个邮件,然后尝试发送邮件。

你也可以使用扭曲这个。 但是在任何情况下都不会和django一起玩,它非常依赖部署场景。 最重要的是每个请求都必须由一个python进程提供服务,所以你需要以线程模式编译的apache。

  • 多进程:共享进程间的大型只读对象?
  • 如何装饰类中的方法?
  • 在python脚本中读取tar文件的内容而不用解开它
  • Java“虚拟机”与Python“解释器”的说法?
  • 如何调用超级构造函数?
  • 将numpy dtypes转换为本地pythontypes
  • 代理与Python“请求”模块
  • “大数据”使用大pandas的工作stream程
  • Django:login后redirect到上一页
  • logging器configurationlogin到文件并打印到标准输出
  • 两个不同Numpy数组中的点之间的最小欧氏距离,不在