Tag: 下载

如何使用wget从网站下载所有文件(但不是HTML)?

如何使用wget并从网站获取所有文件? 我需要除HTML,PHP,ASP等网页文件外的所有文件

wget下载与多个同时连接

我正在使用wget下载网站内容,但wget一个接一个地下载文件。 如何使用4个并发连接来下载wget?

下载一个网页的工作本地副本

我想下载一个网页的本地副本,并获得所有的CSS,图像,JavaScript等 在以前的讨论中(比如这里和这里 ,两者都是两年多的时间),通常会提出两个build议: wget -p和httrack 。 但是,这些build议都失败了。 我非常感谢帮助使用这些工具来完成任务; 替代品也很可爱。 选项1: wget -p wget -p成功下载所有网页的先决条件(css,images,js)。 但是,当我在Web浏览器中加载本地副本时,页面无法加载先决条件,因为这些先决条件的path尚未从Web上的版本进行修改。 例如: 在页面的html中,需要修改<link rel="stylesheet href="/stylesheets/foo.css" />指向foo.css的新的相对path 在CSS文件中,同样需要调整background-image: url(http://img.dovov.combar.png) 。 有没有办法修改wget -p ,使path是正确的? 选项2: httrack httrack似乎是一个用于镜像整个网站的好工具,但是我不清楚如何使用它来创build单个页面的本地副本。 在httrack论坛中有很多关于这个话题的讨论(例如这里 ),但似乎没有人能够有一个防弹的解决scheme。 选项3:另一种工具? 有人提出了有偿工具,但我不相信那里没有免费的解决scheme。 非常感谢!

BitBucket – 以ZIP格式下载源文件

我知道我可以通过git clone命令获得项目,但是有什么办法,如何通过BitBucket.org的web界面下载项目? 在最好的方法,我正在寻找一种方式来下载一个项目源ZIP压缩文件。

wget命令下载文件并保存为不同的文件名

我正在使用wget命令下载文件。 但是,当它下载到我的本地机器,我希望它被保存为一个不同的文件名。 例如:我正在从www.examplesite.com/textfile.txt下载文件 我想使用wget将我的本地目录下的文件textfile.txt保存为newfile.txt 。 我正在使用wget命令,如下所示: wget www.examplesite.com/textfile.txt

如何使用cURL一次性测量请求和响应时间?

我有一个Web服务接收JSON格式的数据,处理数据,然后将结果返回给请求者。 我想用cURL来测量请求,响应和总时间。 我的示例请求如下所示: curl -X POST -d @file server:port 而我目前在Linux中使用time命令来衡量它: time curl -X POST -d @file server:port 时间命令只测量总时间,但这不是我正在寻找的。 有没有办法使用cURL来测量请求和响应时间?

如何使用Angular2下载文件

我有一个WebApi / MVC应用程序,我正在开发一个angular2客户端(以取代MVC)。 我有一些麻烦了解Angular如何保存文件。 请求是好的(与MVC工作正常,我们可以logging收到的数据),但我不知道如何保存下载的数据(我大多遵循在这篇文章中相同的逻辑)。 我相信这简直是愚蠢的,但到目前为止,我根本就没有把握。 组件函数的代码如下所示。 我已经尝试了不同的select,blob方式应该是我所了解的方式,但URL没有函数createObjectURL 。 我甚至无法在窗口中findURL的定义,但显然它存在。 如果我使用FileSaver.js模块 , FileSaver.js得到相同的错误。 所以我想这是最近改变的或者还没有实施的东西。 如何触发保存在A2中的文件? downloadfile(type: string){ let thefile = {}; this.pservice.downloadfile(this.rundata.name, type) .subscribe(data => thefile = new Blob([data], { type: "application/octet-stream" }), //console.log(data), error => console.log("Error downloading the file."), () => console.log('Completed file download.')); let url = window.URL.createObjectURL(thefile); window.open(url); } 为了完整起见,获取数据的服务如下,但它唯一做的是发出请求并传递数据,如果成功则不映射: downloadfile(runname: string, type: […]

如何在ASP.NET Response中传递大文件?

我不是从数据库中寻找任何stream式文件内容的替代品,事实上,我正在寻找问题的根源,这是运行文件,直到IIS 6,我们在经典模式下运行我们的应用程序,现在我们升级我们的IIS到7,我们在pipe道模式下运行应用程序池,并开始此问题。 我有一个处理程序,我必须提供大文件到客户端请求。 我面临以下问题, 文件的平均大小为4到100 MB,所以我们考虑80MB的文件下载情况。 缓冲,慢启动 Response.BufferOutput = True; 这导致文件的启动非常缓慢,因为用户下载甚至进度条直到几秒钟才出现,通常是3到20秒,原因在于IIS首先读取整个文件,确定内容长度然后开始文件传输。 文件正在video播放器中播放,而且运行速度非常慢,但是iPad只会首先下载文件的一部分,所以它的运行速度很快。 缓冲closures,无内容长度,快速启动,无进展 Reponse.BufferOutput = False; 这导致立即开始,但最终客户端(典型的浏览器,如Chrome)不知道内容长度,因为IIS不知道,所以它不显示进度,而是说,X KB下载。 缓冲closures,手动内容长度,快速启动,进度和协议违例 Response.BufferOutput = False; Response.AddHeader("Content-Length", file.Length); 这导致在Chrome等立即文件下载正确,但在某些情况下,IIS处理程序导致“远程客户端closures连接”错误(这是非常频繁的)和其他WebClient导致违反协议。 这会发生所有请求的5%到10%,而不是每个请求。 我猜是什么事情发生,IIS不会发送任何称为100继续,当我们不做缓冲和客户端可能断开不期望任何输出。 但是,从源文件读取文件可能需要更长的时间,但在客户端,我增加了超时但看起来像IIS超时,并没有控制。 有没有反正我可以强制响应发送100继续,不让任何人closures连接? UPDATE 我在Firefox / Chrome中发现了以下头文件,在协议违例或错误头文件中没有什么不寻常的地方。 Access-Control-Allow-Headers:* Access-Control-Allow-Methods:POST, GET, OPTIONS Access-Control-Allow-Origin:* Access-Control-Max-Age:1728000 Cache-Control:private Content-Disposition:attachment; filename="24.jpg" Content-Length:22355 Content-Type:image/pjpeg Date:Wed, 07 Mar 2012 13:40:26 GMT Server:Microsoft-IIS/7.5 X-AspNet-Version:4.0.30319 X-Powered-By:ASP.NET 更新2 转向回收仍然没有提供太多,但我已经增加了我的MaxWorkerProcess到8,现在我得到的错误数量较less。 […]

将所有的Maven依赖下载到不在版本库中的目录?

我开始把我的项目转换为maven,因为我需要使用一个二进制forms的库,而不是maven,但是在我的头撞在墙上太久以后,我决定停止伤害自己,只是使用ant。 我只想让maven将jar和所有的传递依赖项下载到我select的目录中,这样我就可以像平时那样将它们检入到我的SCM中,并再次成为一个幸福的开发人员。 任何想法如何轻松做到这一点?

如何以更聪明的方式使用python下载文件?

我需要通过Python下载几个文件。 最明显的方法就是使用urllib2: import urllib2 u = urllib2.urlopen('http://server.com/file.html') localFile = open('file.html', 'w') localFile.write(u.read()) localFile.close() 但是我不得不以某种方式处理那些讨厌的URL,比如说: http://server.com/!Run.aspx/someoddtext/somemore?id=121&m=pdf : http://server.com/!Run.aspx/someoddtext/somemore?id=121&m=pdf !Run.aspx/someoddtext/somemore?id=121&m= http://server.com/!Run.aspx/someoddtext/somemore?id=121&m=pdf 。 当通过浏览器下载时,文件具有人类可读的名字,即。 accounts.pdf 。 有没有办法在Python中处理,所以我不需要知道文件名和硬编码到我的脚本?