Tag: 抓scrapy

Scrapy可以用来从使用AJAX的网站上抓取dynamic内容吗？

我最近一直在学习Python，并且正在帮助我build立一个networking刮板。 这根本就不是什么花哨的东西; 它的唯一目的是从一个博彩网站获取数据，并将这些数据存入Excel中。 大部分的问题都是可以解决的，而且我有一个很好的小混乱。 不过，我在一个问题上遇到了很大的障碍。 如果一个网站载入一张马匹表并列出当前的博彩价格，这个信息不在任何源文件中。 线索是这个数据有时是活的，数字从一些远程服务器显然更新。 在我的电脑上的HTML只是有一个漏洞，他们的服务器正在推动我所需要的所有有趣的数据。 现在，我对dynamic网页内容的使用经验很less，所以这件事情让我头脑不清。 我认为Java或Javascript是一个关键，这经常popup。 刮板只是一个赔率比较引擎。 有些网站有API，但是我不需要这些API。 我正在Python 2.7中使用scrapy库 如果这个问题太开放了，我会道歉的。 简而言之，我的问题是：scrapy如何被用来刮掉这个dynamic数据，以便我可以使用它？ 这样我可以实时刮这个赔率数据吗？ 欢呼的人:)