在Python中获取使用JavaScript生成的页面

我想下载Javascript生成的网页,并将其存储到Python代码中的stringvariables。 当你点击button时会生成页面。

如果我知道结果URL,我会使用urllib2但事实并非如此。

谢谢

你可以使用Selenium Webdriver :

 #!/usr/bin/env python from contextlib import closing from selenium.webdriver import Firefox # pip install selenium from selenium.webdriver.support.ui import WebDriverWait # use firefox to get page with javascript generated content with closing(Firefox()) as browser: browser.get(url) button = browser.find_element_by_name('button') button.click() # wait for the page to load WebDriverWait(browser, timeout=10).until( lambda x: x.find_element_by_id('someId_that_must_be_on_new_page')) # store it to string variable page_source = browser.page_source print(page_source)