Python内存泄漏

我有一个长时间运行的脚本,如果运行时间足够长,将占用我系统上的所有内存。

没有详细说明剧本,我有两个问题:

  1. 是否有任何“最佳实践”要遵循,这将有助于防止泄漏发生?
  2. 有哪些技术来debuggingPython中的内存泄漏?

看看这篇文章: 跟踪python内存泄漏

另外请注意, 垃圾收集模块实际上可以设置debugging标志。 看看set_debug函数。 另外,请查看Gnibbler的代码来确定调用后创build的对象的types。

我尝试了以前提到的大多数选项,但发现这个小而直观的包是最好的: pympler

跟踪那些没有被垃圾收集的物体是非常直接的,请检查这个小例子:

通过pip install pympler安装包

 from pympler.tracker import SummaryTracker tracker = SummaryTracker() # ... some code you want to investigate ... tracker.print_diff() 

输出显示所有已添加的对象,以及它们所消耗的内存。

示例输出:

  types | # objects | total size ====================================== | =========== | ============ list | 1095 | 160.78 KB str | 1093 | 66.33 KB int | 120 | 2.81 KB dict | 3 | 840 B frame (codename: create_summary) | 1 | 560 B frame (codename: print_diff) | 1 | 480 B 

这个包提供了更多的function。 检查pympler的文档 ,特别是识别内存泄漏部分。

让我推荐mem_top工具,
这帮助我解决了类似的问题。

它只是立即显示在Python程序中的内存泄漏的顶级嫌犯。

你应该特别看看你的全球或静态数据(长寿命数据)。

当这个数据不受限制地增长时,你也可以在Python中遇到麻烦。

垃圾收集器只能收集数据,不再被引用。 但是,您的静态数据可以连接应该释放的数据元素。

另一个问题可能是内存周期,但至less在理论上垃圾收集器应该find并消除周期 – 至less只要不吸引长时间的活动数据。

什么样的长时间数据特别麻烦? 仔细阅读任何名单和字典 – 他们可以没有任何限制地增长。 在字典中,你甚至可能没有看到自从访问字典以来所遇到的麻烦,字典中的键的数量可能不会很大。

不知道python的内存泄漏的“最佳实践”,但python应清除它的垃圾收集器自己的内存。 所以我主要是从检查一些简短的循环列表开始,因为它们不会被垃圾回收器拾取。

这绝不是详尽的build议。 但是,在避免未来内存泄漏(循环)的思想写作时要记住的第一件事是确保任何接受对callback的引用的东西都应该将该callback存储为弱引用。

要检测和定位长时间运行的进程的内存泄漏,例如在生产环境中,现在可以使用stackimpact 。 它使用下面的tracemalloc 。 更多信息在这个职位 。

在这里输入图像说明

Tracemalloc模块是作为Python 3.4开始的内置模块集成的,显然,它也可以作为第三方库的Python以前版本使用(虽然没有经过testing)。

该模块能够输出分配最多内存的精确文件和行。 恕我直言,这种信息比每种types的分配实例的数量都要宝贵得多(最终99%的元组是99%的元组,这是一个线索,但在大多数情况下几乎没有帮助)。

我build议你使用tracemalloc和pyrasite结合使用。 10次​​中的9次,运行pyrasite-shell中的前10个片段会给你足够的信息和提示,以在10分钟内修复泄漏。 然而,如果你仍然无法find泄漏的原因,pyrasite-shell与这个线程中提到的其他工具结合起来可能会给你更多的提示。 你也应该看看pyrasite提供的所有额外帮助器(比如内存查看器)。

就最佳实践而言,请留意recursion函数。 在我的情况下,我遇到了recursion问题(在那里不需要)。 我正在做的一个简单的例子:

 def my_function(): # lots of memory intensive operations # like operating on images or huge dictionaries and lists ..... my_flag = True if my_flag: # restart the function if a certain flag is true my_function() def main(): my_function() 

以这种recursion的方式操作不会触发垃圾回收和清除function的遗留,所以每次通过内存使用量都在不断增长和增长。

我的解决scheme是将recursion调用从my_function()中取出,并在main()句柄再次调用时调用它。 这样,函数自然结束并自行清理。

 def my_function(): # lots of memory intensive operations # like operating on images or huge dictionaries and lists ..... my_flag = True ..... return my_flag def main(): result = my_function() if result: my_function()