如何在Linux中批量下载 Linux wget递归下载技巧-linux运维-PHP中文网

使用wget递归下载需结合-r与-np、-A、-R等参数控制范围和过滤文件，如wget -r -np -A ".pdf" -R ".html"指定下载PDF并排除HTML，同时用--limit-rate限速、-U伪装浏览器，避免过度请求或被拦截，确保高效精准抓取目标内容。

如何在linux中批量下载 linux wget递归下载技巧

在Linux中进行批量下载，尤其是当目标是一个网站的完整目录结构或者一系列相互链接的文件时，

wget

登录后复制

的递归下载功能无疑是核心利器。它能让你指定一个起点，然后像一个不知疲倦的数字侦察兵一样，自动追踪链接、下载所有你想要的内容，极大地简化了原本可能异常繁琐的手动操作。这不仅仅是下载单个文件那么简单，它关乎效率、完整性和对复杂网络资源的掌控。

解决方案

要实现

wget

登录后复制

的递归下载，核心是使用

-r

登录后复制

或

--recursive

登录后复制

选项。在此基础上，结合其他参数可以精细控制下载行为。

最基础的递归下载命令如下：

wget -r http://example.com/some/directory/

登录后复制

这会从指定URL开始，递归下载该目录及其子目录下的所有文件。然而，仅仅使用

-r

登录后复制

往往会导致下载过多不必要的内容，所以通常需要配合其他选项进行过滤和控制。

一个更实用的示例可能看起来像这样：

wget -r -np -R "index.html*,*.txt" -A "*.pdf,*.zip" -l 1 --limit-rate=200k -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" http://example.com/downloads/

登录后复制

这条命令的含义是：

```
-r
```
登录后复制
：启用递归下载。
```
-np
```
登录后复制
：不追溯到父目录。这很重要，否则你可能会把整个网站都下载下来。
```
-R "index.html*,*.txt"
```
登录后复制
：拒绝下载所有名为
```
index.html
```
登录后复制
开头的文件和所有
```
.txt
```
登录后复制
文件。
```
-A "*.pdf,*.zip"
```
登录后复制
：只接受下载
```
.pdf
```
登录后复制
和
```
.zip
```
登录后复制
文件。注意，
```
-A
```
登录后复制
和
```
-r
```
登录后复制
可以同时使用，但要理解它们的优先级和作用范围。
```
-l 1
```
登录后复制
：设置递归深度为1。这意味着只下载当前目录下的文件和链接，不会深入到子目录的子目录。
```
--limit-rate=200k
```
登录后复制
：限制下载速度为200KB/s，避免给服务器造成过大压力。
```
-U "..."
```
登录后复制
：设置User-Agent，模拟浏览器访问，有些网站会检查这个。

如何利用

wget

登录后复制

递归下载整个网站或特定目录？

当我们需要抓取一个网站的全部内容，或者仅仅是其中某个特定区域时，

wget

登录后复制

的递归能力就显得尤为关键。我个人在做一些数据备份或者离线浏览时，经常会用到这个。最直接的用法就是结合

-r

登录后复制

和

-k

登录后复制

（将绝对链接转换为相对链接，方便离线浏览）以及

-p

登录后复制

（下载所有页面所需的图片、CSS等文件）。

想象一下，你要备份一个旧的个人博客，或者一个静态的文档站点：

wget -r -k -p -np -P /path/to/save/website/ http://old-blog.example.com/

登录后复制

这里，

-P /path/to/save/website/

登录后复制

指定了下载内容的保存路径。

-k

登录后复制

和

-p

登录后复制

的组合，旨在让下载下来的网页在本地也能正常显示，所有图片、样式表都会被一并下载并修改链接。而

-np

登录后复制

，正如我之前提到的，是防止

wget

登录后复制

跑出你设定的根目录，避免把整个互联网都拖下来。我曾有过一次经验，忘记加

-np

登录后复制

，结果它试图下载整个域名下的所有内容，那次硬盘空间真是告急。所以，

-np

登录后复制

几乎是递归下载时的标配。

对于特定目录，你只需将URL指向该目录即可。

wget

登录后复制

会从那里开始递归。如果该目录有索引页，它会解析索引页上的链接；如果没有，它会尝试列出目录内容（如果服务器允许）。

商汤商量

商汤科技研发的AI对话工具，商量商量，都能解决。

查看详情

如何避免

wget

登录后复制

递归下载不必要的文件类型或外部链接？

这是

wget

登录后复制

递归下载中一个非常实用的技巧，也是我经常需要精细调整的地方。我们很少会想要一个网站的所有内容，通常只对特定类型的文件或特定域内的内容感兴趣。

避免外部链接： 默认情况下，

wget

登录后复制

递归下载时会遵循链接，包括指向外部域名的链接。要将其限制在当前域名或指定域名内，可以使用

--domains=example.com

登录后复制

或

-D example.com

登录后复制

。

wget -r -np -D example.com,cdn.example.com http://example.com/

登录后复制

这条命令会确保只下载

example.com

登录后复制

和

cdn.example.com

登录后复制

这两个域下的内容。这对于只抓取主站内容，同时允许加载其CDN资源的情况非常有用。

过滤文件类型：

wget

登录后复制

提供了

-A

登录后复制

（accept，接受）和

-r

登录后复制

（reject，拒绝）两个选项来根据文件扩展名进行过滤。

```
-A "*.pdf,*.doc"
```
登录后复制
：只下载PDF和Word文档。
```
-R "*.mp3,*.avi"
```
登录后复制
：拒绝下载MP3和AVI文件。

你甚至可以结合它们，例如，我只想下载一个文档库里的PDF，但不想下载任何HTML页面：

wget -r -np -A "*.pdf" -R "*.html,*.htm" http://docs.example.com/

登录后复制

注意，

-A

登录后复制

和

-r

登录后复制

是基于文件扩展名进行匹配的，所以如果文件没有扩展名，或者扩展名不符合预期，它们可能不会生效。我发现有时网站会用

/file/download/id/123

登录后复制

这样的URL提供文件，这时候就不能简单地靠扩展名过滤了。面对这种情况，可能需要更复杂的脚本或结合

--include-directories

登录后复制

和

--exclude-directories

登录后复制

来指定路径。

处理

wget

登录后复制

递归下载中的常见问题与最佳实践有哪些？

wget

登录后复制

虽然强大，但在实际使用中也常遇到一些“坑”，并且有些实践能让你的下载任务更顺畅。

1. 服务器限制与礼貌： 很多网站会限制爬虫访问，或者你下载速度过快可能会被封IP。

```
--limit-rate=BYTES
```
登录后复制
：限制下载速度。我通常会设置一个合理的限速，比如
```
200k
```
登录后复制
或
```
500k
```
登录后复制
，避免给服务器造成太大压力，也减少自己被封的风险。
```
--wait=SECONDS
```
登录后复制
：每次请求之间等待指定秒数。比如
```
--wait=5
```
登录后复制
，每下载一个文件就等待5秒。这能模拟人类浏览行为，更“礼貌”一些。
```
--random-wait
```
登录后复制
：在0到
```
2*--wait
```
登录后复制
秒之间随机等待。比固定等待更不容易被识别为机器人。
```
-U "User-Agent string"
```
登录后复制
：设置User-Agent。有些网站会根据User-Agent来判断是否允许访问，模拟主流浏览器通常能解决问题。

2. 处理

robots.txt

登录后复制

：网站通常会有一个

robots.txt

登录后复制

文件来指导爬虫哪些区域可以访问，哪些不可以。

wget

登录后复制

默认会遵循

robots.txt

登录后复制

。如果你有正当理由需要忽略它（例如，你正在备份自己的网站，但

robots.txt

登录后复制

误配置了），可以使用

--execute=robots=off

登录后复制

。但要小心，这可能会违反网站的使用政策。

3. 断点续传与日志：

```
-c
```
登录后复制
或
```
--continue
```
登录后复制
：断点续传。如果下载中断，下次运行相同的命令可以从上次中断的地方继续。这对于下载大文件或在网络不稳定的情况下非常重要。
```
-o logfile.txt
```
登录后复制
：将所有输出写入日志文件，而不是标准输出。这样可以方便地查看下载过程中的错误或详细信息。

4. 递归深度控制：