Tag: wget

我可以使用wget来检查,但不能下载

我可以使用wget来检查一个404,而不是实际下载资源? 如果这样怎么样? 谢谢

如何从命令行发送HTTP OPTIONS请求?

我试图使用cURL,但似乎默认(Debian)没有编译HTTPS支持,我不想自己构build它。 wget似乎有SSL支持,但我没有find关于如何使用wget生成OPTIONS HTTP请求的信息。

如何在macOS(Capitan / Sierra)中安装wget?

我尝试在MAC OS 10.11.1中安装wget,但是当我运行./configure –with-ssl=openssl我得到这个错误: configure: error: –with-ssl=openssl was given, but SSL is not available. 如何解决OSX 10.11.1中的这个问题?

WGET是否超时?

我使用Wget通过cron运行PHP脚本,使用以下命令: wget -O – -q -t 1 http://www.example.com/cron/run 脚本最多需要5-6分钟才能完成处理。 请问WGet是否等待它,并把它所需要的时间,或将它超时?

redirect后获取url

在页面redirect之后,我需要使用curl或wget来获得最终的url。 例如http://google.com可能会redirect到http://www.google.com 。 内容很容易得到(例如curl –max-redirs 10 http://google.com -L ),但是我只对最后的url感兴趣(在前一种情况下http://www.google。 com )。 有没有什么办法通过只使用Linux构build工具? (仅限命令行)

并行wget在Bash中

我从网站上得到了一堆相对较小的页面,并想知道我是否可以以某种方式在Bash中并行执行此操作。 目前我的代码看起来像这样,但执行需要一段时间(我认为是什么让我放慢了连接的延迟)。 for i in {1..42} do wget "https://www.example.com/page$i.html" done 我听说过使用xargs,但是我不知道这些,手册页非常混乱。 有任何想法吗? 甚至可以同时做到这一点? 有什么办法可以去攻击这个吗?

如何使用cURL从GitHub下载tarball?

我正在尝试使用cURL从GitHub下载tarball,但似乎没有redirect: $ curl –insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> 注意:wget适合我: $ wget –no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 但是我想使用cURL,因为最终我想用类似下面的内容来解压缩它: $ curl –insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 | tar zx 我发现redirect后的URL竟然是https://download.github.com/pinard-Pymacs-v0.24-beta1-0-gcebc80b.tar.gz ,但我希望cURL足够聪明这个出来了。

如何下载在线文件/文件夹列表中显示的所有文件和子目录的HTTP目录?

有一个我可以访问的在线HTTP目录。 我试图通过wget下载所有的子目录和文件。 但问题是,当wget下载子目录时,它会下载包含该目录中文件列表的index.html文件,而不会自行下载文件。 有没有办法下载没有深度限制的子目录和文件(就好像我要下载的目录只是一个文件夹,我想复制到我的电脑)。

从谷歌驱动器wget /curl大文件

我试图从脚本中的谷歌驱动器下载一个文件,这样做有点麻烦。 我试图下载的文件在这里 。 我已经在网上广泛查看,我终于设法让其中一个下载。 我得到的文件的UID和较小的(1.6MB)下载罚款,但较大的文件(3.7GB)总是redirect到一个页面,问我是否要进行下载没有病毒扫描。 有人能帮我渡过那个屏幕吗? 以下是我如何得到第一个文件的工作 – curl -L "https://docs.google.com/uc?export=download&id=0Bz-w5tutuZIYeDU0VDRFWG9IVUE" > phlat-1.0.tar.gz 当我在其他文件上运行相同的时候, curl -L "https://docs.google.com/uc?export=download&id=0Bz-w5tutuZIYY3h5YlMzTjhnbGM" > index4phlat.tar.gz 我得到以下输出 – 我注意到在链接的倒数第三行,那里有一个&confirm=JwkK这是一个随机的4个字符的string,但build议有一种方法来添加一个确认到我的url。 我访问的其中一个链接build议&confirm=no_antivirus但这是行不通的。 我希望这里有人可以帮助这个! 提前致谢。

如何在一个shellvariables中获取网页的内容?

在Linux中,我如何获取URL并在shell脚本中获取其variables?