使用rvest和xml2从网页中提取所有嵌套URL

本文旨在解决使用 rvest 和 xml2 包从动态网页中提取嵌套 URL 的问题。核心在于理解动态网页的内容加载机制，认识到直接抓取 HTML 源码可能无法获取所有目标链接。通过分析网络请求，找到包含目标信息的 JSON 数据接口，并使用 httr 包获取和解析 JSON 数据，最终提取出所需的 URL。

在网页抓取中，经常会遇到一些网页内容并非直接包含在 HTML 源码中，而是通过 JavaScript 动态加载的。这意味着，直接使用 rvest 等包读取 HTML 源码可能无法获取到所有需要的信息，特别是嵌套的 URL。本文将介绍如何针对这种情况，通过分析网页的网络请求，找到包含目标信息的 JSON 数据接口，并使用 R 语言提取所需 URL。

1. 理解动态网页加载机制

现代网页通常采用动态加载技术，例如使用 JavaScript 从服务器获取数据并更新页面内容。这意味着，当我们使用 read_html 函数读取网页时，只能获取到初始的 HTML 结构，而后续通过 JavaScript 加载的内容可能无法直接获取。

2. 分析网络请求

要解决这个问题，我们需要分析网页的网络请求，找到包含目标信息的 API 接口。可以使用浏览器的开发者工具（通常按 F12 键打开）来查看网络请求。

• 打开开发者工具，切换到 "Network"（网络）选项卡。
• 刷新网页，观察所有网络请求。
• 筛选请求，查找包含 "json" 或 "api" 等关键词的请求。
• 检查请求的 "Response"（响应）内容，确认是否包含目标 URL。

3. 使用 httr 包获取 JSON 数据

一旦找到包含目标 URL 的 JSON 数据接口，就可以使用 httr 包来获取数据。

有道翻译AI助手

有道翻译提供即时免费的中文、英语、日语、韩语、法语、德语、俄语、西班牙语、葡萄牙语、越南语、印尼语、意大利语、荷兰语、泰语全文翻译、网页翻译、文档翻译、PDF翻

63

查看详情

library(httr)
library(dplyr)

# 目标 API 接口 URL
url <- paste0("https://thrivemarket.com/api/v1/products",
              "?page_size=60&multifilter=1&cur_page=1")

# 发送 GET 请求并获取响应内容
response <- GET(url)
json_data <- content(response)

# 提取产品信息和 URL
products_df <- json_data$products %>%
  lapply(function(x) data.frame(product = x$title, url = x$url)) %>%
  bind_rows() %>%
  as_tibble()

print(products_df)

代码解释:

• library(httr) 和 library(dplyr): 导入所需的包。httr 用于发送 HTTP 请求，dplyr 用于数据处理。
• url: 定义目标 API 接口的 URL。需要根据实际情况修改。
• GET(url): 发送 GET 请求到指定的 URL，并获取响应对象。
• content(response): 解析响应对象的内容，通常为 JSON 数据。
• json_data$products: 访问 JSON 数据中的 products 字段，该字段通常包含一个产品列表。
• lapply(function(x) data.frame(product = x$title, url = x$url)): 使用 lapply 函数遍历产品列表，提取每个产品的 title 和 url 字段，并创建一个数据框。
• bind_rows(): 将所有数据框合并成一个数据框。
• as_tibble(): 将数据框转换为 tibble 格式，方便后续处理。
• print(products_df): 打印提取到的产品信息和 URL。

4. 数据处理和清洗

获取到 JSON 数据后，可能需要进行一些数据处理和清洗，例如：

• 过滤不需要的字段。
• 转换数据类型。
• 处理缺失值。
• 去除重复的 URL。

注意事项:

• API 接口可能会发生变化，需要定期检查代码是否仍然有效。
• 某些 API 接口可能需要身份验证才能访问。
• 频繁请求 API 接口可能会导致 IP 地址被屏蔽，需要控制请求频率。
• 遵守网站的 robots.txt 协议，避免抓取禁止抓取的内容。

总结:

通过分析网页的网络请求，找到包含目标信息的 JSON 数据接口，并使用 httr 包获取和解析 JSON 数据，可以有效地提取动态网页中的嵌套 URL。这种方法比直接解析 HTML 源码更加可靠，并且可以获取到 JavaScript 动态加载的内容。在实际应用中，需要根据具体情况调整代码，并遵守网站的规则，避免对网站造成不必要的负担。

以上就是使用rvest和xml2从网页中提取所有嵌套URL的详细内容，更多请关注php中文网其它相关文章！