为什么variables1 + =variables2比variables1 =variables1 +variables2快得多?

我已经inheritance了一些Python代码,用于创build巨大的表(最多19列5000行)。 桌子在屏幕上画了九秒 。 我注意到每行都是使用这个代码添加的:

sTable = sTable + '\n' + GetRow() 

其中sTable是一个string。

我改变了:

 sTable += '\n' + GetRow() 

我注意到桌子现在出现在六秒钟内

然后我改变它:

 sTable += '\n%s' % GetRow() 

基于这些Python性能提示 (仍然是六秒钟)。

由于这被称为约5000次,它突出了性能问题。 但为什么会有这么大的差别呢? 为什么编译器没有在第一个版本中发现问题并对其进行优化?

这不是关于使用inplace += vs + binary add。 你没有告诉我们整个故事。 您的原始版本连接了3个string,而不仅仅是两个:

 sTable = sTable + '\n' + sRow # simplified, sRow is a function call 

Python试图帮助并优化string连接; 在使用strobj += otherstrobjstrobj = strobj + otherstringobj ,但是当涉及到2个以上的string时,它不能应用这个优化。

Pythonstring通常是不可改变的,但是如果没有其他引用到左边的string对象并且正在被反弹,那么Python会欺骗和变异string 。 这样可以避免每次连接时都必须创build一个新的string,这可以大大提高速度。

这是在字节码评估循环中实现的。 在两个string上使用BINARY_ADD时, BINARY_ADD在两个string上使用INPLACE_ADD时 ,Python都会将串联委托给一个特殊的辅助函数string_concatenate() 。 为了能够通过改变string来优化连接,首先需要确保string没有其他引用; 如果只有堆栈和原始variables引用它,那么这可以完成, 下一个操作将取代原来的variables引用。

因此,如果只有2个string引用,并且下一个运算符是STORE_FAST (设置局部variables), STORE_DEREF (设置由函数closures引用的variables)或STORE_NAME (设置全局variables)之一,则受影响的variables当前引用的是相同的string,那么这个目标variables被清除,以减less引用的数目,只有1,堆栈。

这就是为什么你的原始代码不能完全使用这个优化。 expression式的第一部分是sTable + '\n'下一个操作是另一个BINARY_ADD

 >>> import dis >>> dis.dis(compile(r"sTable = sTable + '\n' + sRow", '<stdin>', 'exec')) 1 0 LOAD_NAME 0 (sTable) 3 LOAD_CONST 0 ('\n') 6 BINARY_ADD 7 LOAD_NAME 1 (sRow) 10 BINARY_ADD 11 STORE_NAME 0 (sTable) 14 LOAD_CONST 1 (None) 17 RETURN_VALUE 

第一个BINARY_ADD后面跟着一个LOAD_NAME来访问sRowvariables,而不是存储操作。 第一个BINARY_ADD必须总是产生一个新的string对象,随着sTable增长而变大,并且需要越来越多的时间来创build这个新的string对象。

您将此代码更改为:

 sTable += '\n%s' % sRow 

删除了第二个连接 。 现在字节码是:

 >>> dis.dis(compile(r"sTable += '\n%s' % sRow", '<stdin>', 'exec')) 1 0 LOAD_NAME 0 (sTable) 3 LOAD_CONST 0 ('\n%s') 6 LOAD_NAME 1 (sRow) 9 BINARY_MODULO 10 INPLACE_ADD 11 STORE_NAME 0 (sTable) 14 LOAD_CONST 1 (None) 17 RETURN_VALUE 

我们剩下的就是一个INPLACE_ADD后面是一个商店。 现在sTable可以在原地被改变,而不会导致一个更大的新string对象。

你会得到相同的速度差异:

 sTable = sTable + ('\n%s' % sRow) 

这里。

时间试验显示了不同之处:

 >>> import random >>> from timeit import timeit >>> testlist = [''.join([chr(random.randint(48, 127)) for _ in range(random.randrange(10, 30))]) for _ in range(1000)] >>> def str_threevalue_concat(lst): ... res = '' ... for elem in lst: ... res = res + '\n' + elem ... >>> def str_twovalue_concat(lst): ... res = '' ... for elem in lst: ... res = res + ('\n%s' % elem) ... >>> timeit('f(l)', 'from __main__ import testlist as l, str_threevalue_concat as f', number=10000) 6.196403980255127 >>> timeit('f(l)', 'from __main__ import testlist as l, str_twovalue_concat as f', number=10000) 2.3599119186401367 

这个故事的寓意是你不应该首先使用string连接。 从其他string的负载构build新string的正确方法是使用列表,然后使用str.join()

 table_rows = [] for something in something_else: table_rows += ['\n', GetRow()] sTable = ''.join(table_rows) 

这还是更快:

 >>> def str_join_concat(lst): ... res = ''.join(['\n%s' % elem for elem in lst]) ... >>> timeit('f(l)', 'from __main__ import testlist as l, str_join_concat as f', number=10000) 1.7978830337524414 

但是你不能使用'\n'.join(lst)

 >>> timeit('f(l)', 'from __main__ import testlist as l, nl_join_concat as f', number=10000) 0.23735499382019043