Tag: networking服务

如何编写爬网程序？: 我曾经想过要写一个简单的爬虫程序来抓取并为我们NPO的网站和内容制作一份调查结果清单。有没有人有任何想法如何做到这一点？你在哪里指定爬虫开始？它如何发callback查结果并继续爬行？它如何知道它发现了什么，等等。

Go（golang）webservices的Webserver：使用NGINX还是不？: 我正在写一些webservices返回JSON数据，有很多的用户。你会推荐使用NGINX作为networking服务器还是使用Go的标准HTTP服务器？

如何检查芹菜的任务状态？: 如何检查一个任务是否在芹菜（特别是，我使用芹菜Django）运行？我已经阅读了文档，并且使用了Googlesearch，但是我看不到如下所示的调用： my_example_task.state() == RUNNING 我的用例是我有一个外部（Java）服务转码。当我发送要转码的文档时，我想检查运行该服务的任务是否正在运行，如果没有，则（重新）启动它。我使用目前的稳定版本 – 2.4，我相信。

什么是最好的基于Web的Subversion客户端？: 什么是你最喜欢的基于Web的svn客户端？我想要一个支持通过networking提交。每个post一个工具请！请包括平台和显着的function（例如读写支持）。我指的是基于浏览器的客户端，用户会像任何其他网站一样 – 不通过http访问repo。

用Node.js实时刮取网页: 什么是一个好的是用Node.js刮取网站内容。我想创build一个非常非常快速的东西，可以执行kayak.com样式的search ，其中一个查询分派到几个不同的站点，结果被删除，并在客户端可用时返回给客户端。我们假设这个脚本应该只提供JSON格式的结果，我们可以直接在浏览器或其他Web应用程序中处理它们。几个起点：使用node.js和jquery来抓取网站任何人有任何想法？

如何使用Ionic框架进行Web应用程序开发？: 是否有可能使用离子frameowork常规Web应用程序，而不是包装在cordova？

Google Chrome扩展程序中的网页抓取（JavaScript + Chrome API）: 什么是最好的select，从谷歌浏览器的扩展使用JavaScript和任何更多的技术可用，执行目前未打开的选项卡的网页抓取。其他JavaScript库也被接受。重要的是要掩盖行为像一个正常的networking请求。没有AJAX或XMLHttpRequest的指示，如X-Requested-With: XMLHttpRequest或Origin 。抓取的内容必须可以从JavaScript访问，以便在扩展中进行进一步的操作和呈现，最有可能的是作为一个string。在任何WebKit / Chrome特定的API中，是否存在任何钩子：可用于发出正常的Web请求并获得操作结果？ var pageContent = getPageContent(url); // TODO: Implement var items = $(pageContent).find('.item'); // Display items with further selections Bonus-points使这个工作从磁盘上的本地文件进行初始debugging。但如果这是停止解决scheme的唯一的一点，那么忽略奖励点。

有没有一个免费的APIpipe理系统（例如一个Mashery替代品）？: 我正在寻找发布公共REST API，我想通过API密钥保护。像Mashery这样的服务提供APIpipe理服务; 根据他们的规格表，他们提供： API注册，访问和自助服务configuration 重要的发行和凭证pipe理使用限制和限制与键，用户，方法或组绑定智能caching经常使用的通话基于filter，参数和方法的业务规则configuration 在那里提供这些function的工具/服务是否有免费的（无论是在啤酒还是在自由中）？描述最佳实践的文章？我碰巧在Perl / Unix环境下工作，但也对其他解决scheme感兴趣。我承受不起Mashery，重新开车是一个痛苦。谢谢。

如何validationGoogle身份validationAPI访问令牌？: 我如何validationGoogle身份validation访问令牌？我需要以某种方式查询Google并询问：[给定访问令牌]对于[example@example.com] Google帐户是否有效？简短版本：很明显，如何使用通过Google身份validationAPI :: OAuth身份validationWeb应用程序提供的访问令牌，然后从一系列Google服务请求数据。目前还不清楚如何检查给定的访问令牌对于给定的Google帐户是否有效。我想知道如何。长版本：我正在开发一个使用基于令牌的身份validation的API。在提供有效的用户名+密码或从N个可validation服务中的任何一个提供第三方令牌时，将返回令牌。其中一项第三方服务是Google，允许用户使用他们的Google帐户对我的服务进行身份validation。这将在以后扩展到包括雅虎帐户，可信的OpenID提供商等。基于Google的访问示意图示例：替代文字http://webignition.nethttp://img.dovov.comfigures/auth_figure002.png 'API'实体完全在我的控制之下。 “公共界面”实体是任何基于networking或桌面的应用程序。一些公共接口在我的控制之下，其他的则不在，而其他的我可能从来不知道。因此，我无法相信在步骤3中提供给API的令牌。这将随相应的Google帐户电子邮件地址一起提供。我需要以某种方式查询谷歌，并问：这个访问令牌是有效的example@example.com ？在这种情况下，example@example.com是Google帐户的唯一标识符 – 用户用于login其Google帐户的电子邮件地址。这不能被认为是一个Gmail地址 – 有人可以有一个谷歌帐户，没有一个Gmail帐户。 Google文档清楚地说明了如何使用访问令牌从多个Google服务中检索数据。没有什么似乎说明如何检查一个给定的访问令牌是否有效。更新该令牌对N个Google服务有效。我无法尝试使用Google服务的令牌作为validation方式，因为我不知道给定用户实际使用的所有Google服务的哪个子集。此外，我永远不会使用Google身份validation访问令牌来访问任何Google服务，只是作为validation所谓的Google用户实际上是他们所说的人的手段。如果还有其他的方法，我很乐意尝试。

PyPi下载计数似乎是不现实的: 我在第一次〜2个月前在PyPi上安装了一个软件包，并从那以后做了一些版本更新。我注意到本周的下载计数logging，并惊讶地发现它已被下载数百次。在接下来的几天中，即使这是一个利基统计testing工具箱，我也更惊讶地发现下载次数每天有几百次增加。特别是，旧版本的软件包将继续下载，有时会比最新版本更高。这里发生了什么？ PyPi的下载计数是否存在一个错误，或者是否有大量抓取开源代码的抓取工具？