Tag: python

如何在多处理器系统上产生并行subprocess？

我有一个Python脚本，我想用作另一个Python脚本的控制器。 我有一个有64个处理器的服务器，所以想要产生多达64个这个第二个Python脚本的subprocess。 子脚本被调用： $ python create_graphs.py –name=NAME NAME是像XYZ，ABC，NYU等 在我的父母控制器脚本中，我从列表中检索名称variables： my_list = [ 'XYZ', 'ABC', 'NYU' ] 所以我的问题是，什么是最好的方式来产生这些进程作为孩子？ 我想把孩子的数量限制在64个，所以需要跟踪状态（如果孩子的过程已经完成了），所以我可以有效地保持整个一代的运行。 我考虑使用subprocess包，但拒绝它，因为它一次只产生一个孩子。 我终于find了多处理器软件包，但是我承认被整个线程和subprocess文档所淹没。 现在，我的脚本使用subprocess.call来一次只产生一个孩子，看起来像这样： #!/path/to/python import subprocess, multiprocessing, Queue from multiprocessing import Process my_list = [ 'XYZ', 'ABC', 'NYU' ] if __name__ == '__main__': processors = multiprocessing.cpu_count() for i in range(len(my_list)): if( i < processors ): cmd = […]

如何指定python pip的安装顺序？

我正在使用fabric（0.9.4）+ pip（0.8.2），我需要为多个服务器安装一些python模块。 所有服务器都有老版本的setuptools（0.6c8），需要升级pymongo模块。 Pymongo需要setuptools> = 0.6c9。 我的问题是，点开始安装与pymongo而不是setuptools，导致点停止。 在需求文件中洗牌模块顺序似乎没有帮助。 requirements.txt： setuptools>=0.6c9 pymongo==1.9 simplejson==2.1.3 有没有一种方法来指定PIP的安装顺序，因为它似乎没有正确地做它本身？ 这可以通过两个单独的需求文件来解决，但是如果我现在或将来不需要维护多个需求文件，那将会很好。 问题仍然存在与点0.8.3。

sql alchemy连接超时

我正在使用MySQL sqlalchemy ，并执行SQLexpression式的查询。 当执行一些查询，然后超时。 我find了一个答案，但我不清楚。 请，任何人都可以帮助我？ TimeoutError：QueuePool限制大小5溢出10到达，连接超时，超时30

如何绘制git repo的代码历史行？

基本上我想在每次提交之后获取版本库中的代码行数。 我发现的唯一（真正蹩脚的）方法是使用git filter-branch运行wc -l * ，并在每次提交时运行git reset –hard ，然后运行wc -l 为了更清楚一点，当工具运行时，它会输出第一个提交的代码行，然后输出第二个代码行，依此类推。 这是我想要的工具输出（作为例子）： me@something:~/$ gitsloc –branch master 10 48 153 450 1734 1542 我已经玩弄了ruby的'git'库，但是最近我发现在diff上使用.lines()方法，看起来应该给出添加的行（但不会：当你删除时它会返回0线例如） require 'rubygems' require 'git' total = 0 g = Git.open(working_dir = '/Users/dbr/Desktop/code_projects/tvdb_api') last = nil g.log.each do |cur| diff = g.diff(last, cur) total = total + diff.lines puts total last = cur […]

Python包装：数据文件正确地放在tar.gz文件中，但是没有安装到虚拟环境中

我无法正确安装项目package_fiddler到我的虚拟环境。 我发现MANIFEST.in负责将non.py文件放在Package_fiddler-0.0.0.tar.gz ， 这个文件是在执行python setup.py sdist时候生成的。 然后我做了： (virt_envir)$ pip install dist/Package_fiddler-0.0.0.tar.gz 但是，这并没有安装数据文件，也没有安装到/home/username/.virtualenvs/virt_envir/local/lib/python2.7/site-packages 。 我已经尝试了许多configuration参数package_data ， include_package_data和data_files但我似乎每次都使用了错误的configuration。 package_data和/或include_package_data和/或data_files哪个configuration会正确地将package_fiddler安装到我的虚拟环境中？ 项目树 . ├── MANIFEST.in ├── package_fiddler │ ├── data │ │ ├── example.html │ │ └── stylesheets │ │ └── example.css │ └── __init__.py ├── README.rst └── setup.py setup.py from setuptools import setup setup( name='Package_fiddler', entry_points={ 'console_scripts': ['package_fiddler […]

pandas在没有标题的表格中阅读

我如何读取一个.csv文件（没有标题），什么时候我只想使用pandas的一个列的子集（总共20列中的第4和第7）？ 我似乎无法做usecols

如何避免编写request.GET.get（）两次才能打印？

我来自PHP背景，想知道是否有办法在Python中做到这一点。 在PHP中，你可以像这样一石二鸟： 代替： if(getData()){ $data = getData(); echo $data; } 我可以做这个： if($data = getData()){ echo $data; } 您检查getData()存在，如果存在，则将其分配给一个语句中的variables。 我想知道是否有办法在Python中做到这一点？ 所以不要这样做： if request.GET.get('q'): q = request.GET.get('q') print q 避免编写request.GET.get('q')两次。

virtualenv如何工作？

我检查了激活脚本，它看起来对我来说只是： 设置VIRTUAL_ENV env 在PATH前附加$ VIRTUAL_ENV / bin virtualenv如何通过这些提供神奇的虚拟环境？ 我错过了什么？

requirements.txt取决于python版本

我试图移植一个python2包到python3（不是我自己的）使用六个，以便它与两个兼容。 然而，其中一个在requirements.txt中列出的软件包现在包含在python3 stdlib中，而pypi版本在python3中不起作用，所以我想有条件地排除它。 在setup.py中做这件事很简单，我可以做一些事情： if sys.version_info[0] == 2: requirements += py2_requirements else: requirements += py3_requirements 但是我想要requirements.txt也反映正确的列表。 在pip文档中我找不到任何这方面的内容。 所以有人知道如何去做，或者甚至有可能吗？

在order_by（）中使用Django自定义模型方法属性

我目前正在学习Django，我的一些模型有自定义的方法来获取以特定方式格式化的值。 是否有可能使用这些自定义方法之一的值作为order_by（）模型中的属性定义？ 这是一个演示如何实现该属性的示例。 class Author(models.Model): first_name = models.CharField(max_length=30) last_name = models.CharField(max_length=40) email = models.EmailField(blank=True, verbose_name='e-mail') def _get_full_name(self): return u'%s %s' % (self.first_name, self.last_name) full_name = property(_get_full_name) def __unicode__(self): return self.full_name 有了这个模型，我可以做到： >>> Author.objects.all() [<Author: John Doh>, <Author: Jane Doh>, <Author: Andre Miller>] >>> Author.objects.order_by('first_name') [<Author: Andre Miller>, <Author: Jane Doh>, <Author: John Doh>] 但我不能这样做： >>> […]