哪个Python内存分析器被推荐?

我想知道我的Python应用程序的内存使用情况,特别想知道哪些代码块/部分或对象消耗了大部分内存。 谷歌search显示,商业版本是Python Memory Validator (仅限Windows)。

而开源的是PySizer和Heapy 。

我没有尝试任何人,所以我想知道哪一个是最好的考虑:

  1. 给大部分细节。

  2. 我必须对我的代码做最less的改动。

Heapy使用起来相当简单。 在您的代码中的某个时刻,您必须编写以下内容:

from guppy import hpy h = hpy() print h.heap() 

这给你一些这样的输出:

 Partition of a set of 132527 objects. Total size = 8301532 bytes. Index Count % Size % Cumulative % Kind (class / dict of class) 0 35144 27 2140412 26 2140412 26 str 1 38397 29 1309020 16 3449432 42 tuple 2 530 0 739856 9 4189288 50 dict (no owner) 

你也可以从哪里find对象,并获得有关的统计信息,但不知何故文档有点稀疏。

还有一个graphics浏览器,用Tk编写。

由于没有人提到它,我将指向我的模块memory_profiler ,它能够逐行打印内存使用情况报告,并在Unix和Windows上工作(需要最后一个psutil)。 输出不是很详细,但是目标是给你一个代码消耗更多内存的概述,而不是对分配的对象进行详尽的分析。

在使用@profile装饰你的函数并使用-m memory_profiler标志运行你的代码之后,它将打印一行一行的报告,如下所示:

 Line # Mem usage Increment Line Contents ============================================== 3 @profile 4 5.97 MB 0.00 MB def my_func(): 5 13.61 MB 7.64 MB a = [1] * (10 ** 6) 6 166.20 MB 152.59 MB b = [2] * (2 * 10 ** 7) 7 13.61 MB -152.59 MB del b 8 13.61 MB 0.00 MB return a 

我build议Dowser 。 这是非常容易设置的,你需要零代码的变化。 您可以通过简单的Web界面查看每种types对象的计数,查看活动对象列表,查看对活动对象的引用。

 # memdebug.py import cherrypy import dowser def start(port): cherrypy.tree.mount(dowser.Root()) cherrypy.config.update({ 'environment': 'embedded', 'server.socket_port': port }) cherrypy.server.quickstart() cherrypy.engine.start(blocking=False) 

您导入memdebug,并调用memdebug.start。 就这样。

我还没有试过PySizer或Heapy。 我会感激别人的评论。

UPDATE

上面的代码是CherryPy 2.XCherryPy 3.X server.quickstart方法已被删除, engine.start不采取blocking标志。 所以,如果你使用CherryPy 3.X

 # memdebug.py import cherrypy import dowser def start(port): cherrypy.tree.mount(dowser.Root()) cherrypy.config.update({ 'environment': 'embedded', 'server.socket_port': port }) cherrypy.engine.start() 

考虑一下objgraph库(有关示例用例,请参阅http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks )。

Muppy是(又一个)Python的内存使用情况分析器。 这个工具集的重点在于识别内存泄漏。

Muppy试图帮助开发人员识别Python应用程序的内存泄漏。 它可以在运行时跟踪内存的使用情况,并识别泄漏的对象。 此外,还提供了一些工具,可以find未发布对象的来源。

我发现meliae比Heapy或PySizerfunction更强大。 如果你碰巧正在运行一个wsgi web应用程序,那么Dozer就是一个很好的Dowser中间件包装器

我正在开发一个名为memprof的Python内存分析器:

http://jmdana.github.io/memprof/

它允许您在装饰方法的执行过程中logging和绘制variables的内存使用情况。 您只需使用以下命令导入库:

 from memprof import memprof 

并装饰你的方法使用:

 @memprof 

这是情节如何的一个例子:

在这里输入图像描述

该项目在GitHub:

https://github.com/jmdana/memprof

试试pytracemalloc项目 ,它提供了每个Python行号的内存使用情况。

编辑(2014/04):现在有一个Qt GUI来分析快照。