Python无头浏览器(需要JavaScript支持!)

我需要一个非常容易使用的无头浏览器(我对Python和一般编程还是比较新的),这将允许我导航到一个页面,login到一个需要Javascript的表单,然后通过search符合特定条件的结果,单击checkbox,然后单击以下载文件。 所有这些都需要Javascript。

我听到一个无头浏览器是我想要的 – 需求/喜好是我可以从Python运行它,最好是由py2exe(我正在为其他用户编写这个程序)编译生成的脚本。

到目前为止风车看起来可能是我想要的,但我不确定。

任何想法赞赏!

我使用webkit作为Python中的无头浏览器,通过pyqt / pyside:
http://www.riverbankcomputing.co.uk/software/pyqt/download
http://developer.qt.nokia.com/wiki/Category:LanguageBindings::PySide::Downloads

我特别喜欢webkit,因为它很容易设置。 对于Ubuntu,您只需使用: sudo apt-get install python-qt4

这是一个示例脚本:
http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

这个问题的答案是Spynner

我正在为Zombie.js写一个Python驱动程序,这是一个在模拟环境中testing客户端JavaScript代码的轻量级框架。

目前,我正在解决Node.js中的一个错误(在我编写更多的testing和更多的代码之前),但是随时随地关注我的项目:

https://github.com/ryanpetrello/python-zombie

目前还没有太多的无头浏览器支持Javascript。

你可以试试Zombie.js或Phantomjs 。 那些不是Python,而是简单的Javascript和那些真的可以做的工作。

尝试使用phantomjs,它有很好的javascript支持。 然后你可以把它作为一个python脚本的subprocess运行

http://docs.python.org/library/subprocess.html

那可能会把它当成老板

您可以将HTQL与IRobotSoft webscraper结合使用。 检查这里的例子: http : //htql.net/