本文旨在指导读者如何使用R语言中的`httr2`包，通过访问网页的底层JSON数据源来高效提取链接地址和下载文件，尤其适用于那些点击后直接触发下载的链接。我们将探讨如何识别、请求、解析JSON数据，并从中提取特定信息，最终实现无需浏览器自动化即可获取所需链接和文件的目的。
1. 挑战与解决方案概述
在进行网页数据抓取时，我们经常会遇到这样的场景：页面上的某个链接（例如“CSV Summary”）在点击后会直接触发文件下载，而不是跳转到一个新的页面显示文件内容或提供可复制的URL。在这种情况下，传统的浏览器自动化工具（如RSelenium）可能需要模拟右键点击并选择“复制链接地址”等复杂操作。然而，更高效且健壮的方法是绕过前端交互，直接与网站的后端API或数据源进行交互。
许多现代网站通过API（通常返回JSON格式的数据）来动态加载内容。这意味着，即使前端链接直接触发下载，其背后很可能有一个JSON端点包含了该下载链接的信息。通过识别并请求这些JSON端点，我们可以直接获取所需的链接地址，并进一步实现文件的程序化下载。
2. 识别并访问JSON数据源
要找到网页背后的JSON数据源，通常需要借助浏览器的开发者工具。在浏览器中打开目标网页，然后按下F12键（或右键点击页面选择“检查”），切换到“网络”（Network）选项卡。刷新页面或点击相关元素，观察网络请求。通常会发现一些以.json结尾的请求，或者返回类型为application/json的请求。这些就是我们寻找的JSON数据源。
一旦确定了JSON数据的URL，我们就可以使用R语言中的httr2包来发起HTTP请求并获取数据。
# 加载必要的库 library(tidyverse) # 包含管道操作符 %>% 和其他数据处理工具 library(httr2) # 用于进行HTTP请求 # 示例：假设我们找到了一个包含结果信息的JSON端点 json_url <- "https://services.healthtech.dtu.dk/services/BepiPred-2.0/tmp/630F1ABF0000500259861910/results.json" # 发起GET请求并获取JSON响应 response <- json_url %>% request() %>% req_perform() # 将响应体解析为R对象（通常是列表或数据框） # simplifyVector = TRUE 尝试将JSON数组转换为数据框，如果结构允许 json_data <- response %>% resp_body_json(simplifyVector = TRUE) # 查看解析后的数据结构 print(json_data)
运行上述代码，json_data将包含一个R列表或数据框，其结构与JSON响应体相对应。通过检查这个对象的结构，我们可以定位到包含目标链接的字段。
3. 从JSON数据中提取链接地址
在获取并解析了JSON数据后，下一步是从中提取我们需要的链接地址。根据JSON数据的具体结构，这可能涉及简单的列表索引或数据框列选择。
以上述示例的JSON数据为例，假设我们发现CSV文件的下载链接存储在名为csv_summary的字段中，并且它可能是一个相对路径。
# 假设json_data中有一个名为csv_summary的字段，包含相对路径
# 示例中，它可能是 "/services/BepiPred-2.0/tmp/630F1ABF0000500259861910/summary.csv"
relative_csv_path <- json_data$csv_summary
# 构造完整的CSV下载URL
# 需要将相对路径与网站的基础URL拼接起来
base_url <- "https://services.healthtech.dtu.dk"
full_csv_url <- str_c(base_url, relative_csv_path)
# 打印提取到的完整链接地址
cat("提取到的CSV下载链接:", full_csv_url, "\n")通过这种方式，我们成功地从JSON数据中提取了完整的CSV文件下载链接，而无需进行任何前端交互。
4. 程序化下载文件
一旦获得了文件的完整下载链接，我们就可以使用R语言内置的download.file()函数来程序化地下载文件。
# 使用提取到的链接下载CSV文件
dest_filename <- "downloaded_health_summary.csv" # 指定保存的文件名
download.file(url = full_csv_url,
destfile = dest_filename,
mode = "wb") # mode = "wb" 对于二进制文件（如CSV、图片等）是推荐的
cat("CSV文件已下载至:", dest_filename, "\n")download.file()函数提供了灵活的参数来控制下载行为，例如指定目标文件名、下载模式（"wb"表示写入二进制文件，适用于大多数文件类型）等。
5. 注意事项与最佳实践
- 检查JSON结构变化： 网站的API结构可能会随时间变化。如果你的代码突然失效，请重新检查JSON数据源的结构。
- 错误处理： 在实际应用中，应该加入错误处理机制，例如检查HTTP请求是否成功（resp_is_error()），以及JSON解析是否出现问题。
- API速率限制： 如果频繁请求同一API，可能会遇到速率限制。请查阅网站的API文档，了解其使用策略，并考虑在请求之间添加延迟（Sys.sleep()）。
- 用户代理（User-Agent）： 有些网站可能会检查请求的User-Agent头。在request()函数中可以通过req_user_agent()设置一个合适的User-Agent。
- 认证： 如果API需要认证（如API密钥、OAuth令牌），httr2提供了req_auth_basic()、req_auth_bearer_token()等函数来处理。
总结
通过利用R语言中的httr2包访问和解析网页底层的JSON数据源，我们可以高效、稳定地提取那些通常通过直接点击会触发下载的链接。这种方法避免了复杂的浏览器自动化操作，提供了更直接的数据访问途径，是进行大规模网页数据抓取和文件下载的强大工具。掌握识别JSON端点、解析数据以及程序化下载文件的技能，将大大提升您的数据获取能力。
