Tag: wget

什么标题自动发送wget?

我知道你可以用–header选项手动设置一些头文件,但是我想知道它发送了什么头文件而没有交互。

通过wetransfer.com通过terminal/ cmdline下载文件

人们越来越多的通过wetransfer给我发送大的zip文件,这很好,因为它的工作原理,我不需要设置一个ftp或上传自己。 但是我需要将这些数据提供给位于serverfarm中快速连接的ubuntu服务器。 我试图通过邮件发送wetransfer发送的链接,但是我只能得到在wetransfer通过http发送文件之前显示的html信息页面 我尝试了一个txt浏览器(lynx,elinks),但是wetrasnfer不停地对“过时的浏览器”进行嘟and,它不知何故无法正常工作 我最终下载到我的笔记本电脑,并通过节stream的DSL上传到服务器需要整晚… 有没有人有成功下载从Linuxterminalwetransfer链接? thnx市场

如何只显示wget进度条?

例如: wget ../TheFile.jpeg downloading: TheFile.tar.gz … –09:30:42– ../TheFile.jpeg => `/home/me/Downloads/TheFile.jpeg' Resolving somesite.co… xxx.xxx.xxx.xxx. Connecting to somesite.co|xxx.xxx.xxx.xxx|:80… connected. HTTP request sent, awaiting response… 200 OK Length: 1,614,820 (1.5M) [image/jpeg] 25% [======> ] 614,424 173.62K/s ETA 00:14 我怎样才能看起来像这样 downloading: TheFile.jpeg … 25% [======> ] 614,424 173.62K/s ETA 00:14 我知道curl可以做到这一点,但是我需要得到wget来完成这项工作。

BASH脚本:使用wget下载连续编号的文件

我有一个Web服务器,保存编号的Web应用程序的日志文件。 一个文件名的例子是: dbsclog01s001.log dbsclog01s002.log dbsclog01s003.log 最后3位是计数器,他们可以达到100。 我通常打开一个网页浏览器,浏览到如下文件: http://someaddress.com/logs/dbsclog01s001.log 并保存这些文件。 当你得到50个日志时,这当然会让人有些恼火。 我试图想出使用wget和传递的BASH脚本 http://someaddress.com/logs/dbsclog01s*.log 但是我的脚本有问题。 无论如何,任何人都有如何做到这一点的样本? 谢谢!

Wget将输出文件和标题输出到STDOUT

我正在尝试通过wget -S -O – http://google.com将文档正文及其标题输出到stdout 但它只显示html文档。 谢谢 UPD: 工作了这个wget –save-headers –output-document – http://google.com wget –version显示GNU Wget 1.11.4红帽修改

如何用wget重命名下载的文件?

要从服务器下载SOFA统计信息,请使用wget命令: wget -c http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp 在这种情况下下载的文件的文件名是download?source=files 。 如果将–output-document选项添加到命令中,要将输出文件重命名为sofastatistics-latest.deb ,则下载文件的格式不会被dpkg软件包识别。 dpkg-deb: error: `sofastatistics-latest.deb' is not a debian format archive 如何正确使用wget重命名下载的文件? 更新 – 1月08 '15 使用提供的链接下载的文件总是一个* .tar.gz之一。 为了得到真正的名字,只需添加–content-disposition选项(感谢@ 6EQUJ5!): wget –content-disposition http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp 但是我需要一个* .deb文件,所以这里是正确的@creaktive,我不得不search* .deb文件链接。 感谢所有的答案!

如何使用wget / curl下载指定网页上的.zip文件的所有链接?

一个页面包含指向一组.zip文件的链接,所有这些都是我想要下载的。 我知道这可以通过wget和curl完成。 它是如何完成的?

只蜘蛛网站和返回url

我正在寻找一种伪蜘蛛网站的方式。 关键是我实际上不需要内容,而是一个简单的URI列表。 我可以使用–spider选项使用Wget合理地接近这个想法,但是当通过grep输出pipe道时,我似乎无法find使它工作的正确的法术: wget –spider –force-html -r -l1 http://somesite.com | grep 'Saving to:' grepfilter似乎对wget输出没有任何影响。 我有什么不对吗,还是有另一个工具,我应该尝试更适合提供这种有限的结果集? UPDATE 所以我只是发现离线,默认情况下, wget写入到stderr。 我错过了在手册页(事实上,如果它在那里,我还没有find它)。 一旦我input返回标准输出,我接近我所需要的: wget –spider –force-html -r -l1 http://somesite.com 2>&1 | grep 'Saving to:' 如果有的话,我仍然会对其他更好的方法感兴趣。

如何只镜像一个网站的一部分?

我不能让wget镜像网站的一部分(根下的文件夹path) – 它似乎只能从网站的主页上工作。 我已经尝试了很多select – 这里是一个例子 wget -rkp -l3 -np http://somewebsite/subpath/down/here/ 虽然我只想镜像URL下的内容链接,但我还需要下载不在该path中的所有页面资源。 它似乎工作正常的主页( / ),但我不能得到它的任何子文件夹。

无法build立SSL连接,我该如何解决我的SSL证书?

我试图wget我自己的盒子,它不能成为wget的内部地址(另一位开发者也这样说)。 当我忘了,我得到这个: wget http://example.com –2013-03-01 15:03:30– http://example.com/ Resolving example.com… 172.20.0.224 Connecting to example.com|172.20.0.224|:80… connected. HTTP request sent, awaiting response… 302 Found Location: https://www.example.com/ [following] –2013-03-01 15:03:30– https://www.example.com/ Resolving www.example.com… 172.20.0.224 Connecting to www.example.com|172.20.0.224|:443… connected. OpenSSL: error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol Unable to establish SSL connection. 我相信这是因为我没有正确的证书设置。 使用openssl: openssl s_client -connect example.com:443 CONNECTED(00000003) 15586:error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol:s23_clnt.c:588: 而如果我在另一个网站上执行相同的命令,则会显示整个证书。 也许ssl证书从来没有在Apache的conf文件中为该域设置? […]