Tag: scraping urlopen

用Python来抓取JavaScript页面

我正在尝试开发一个简单的网页刮板。 我想提取没有HTML代码的文本。 实际上，我实现了这个目标，但是我已经看到，在一些加载JavaScript的页面中，我没有获得好的结果。 例如，如果某些JavaScript代码添加了一些文本，我看不到它，因为当我打电话时 response = urllib2.urlopen(request) 我没有添加一个原始文本（因为JavaScript是在客户端执行的）。 所以，我正在寻找一些想法来解决这个问题。