在R语言中，当需要获取网页上的文件下载链接而不触发直接下载时，模拟用户界面操作（如右键点击）并非总是最有效的方法。本教程将展示如何利用网站提供的API或JSON数据源，通过httr2等R包直接访问并提取所需链接，从而实现更高效、稳定的数据获取，并避免不必要的下载行为。
1. 简介：绕过UI操作的优势
在自动化网页交互时，我们常会遇到需要获取某个文件（如CSV、PDF）的下载链接，但点击该链接会立即触发文件下载，而非跳转到新页面显示链接地址。传统的解决方案可能涉及使用像RSelenium这样的工具来模拟浏览器行为，例如右键点击并复制链接地址。然而，这种方法往往较为复杂，易受浏览器版本、驱动配置及页面元素变化的影响。
一个更高效、更稳定的替代方案是直接与网站的后端数据源（通常是API或JSON接口）进行交互。许多现代网站在后台通过API提供数据，这些API响应通常是JSON格式，其中可能包含我们所需的下载链接。通过直接请求这些JSON数据，我们可以精确地提取所需信息，而无需加载整个网页或模拟复杂的UI操作。
2. 识别并访问API/JSON数据源
要采用这种方法，首先需要识别网站用于提供数据的API或JSON端点。这通常可以通过浏览器的开发者工具（Network/网络标签页）来完成。当你在页面上进行操作（如点击按钮、加载数据）时，观察网络请求，寻找返回JSON数据的请求URL。
一旦识别出JSON数据源的URL，我们就可以在R中使用httr2包来发起HTTP请求并解析JSON响应。httr2是一个功能强大且现代的HTTP客户端，非常适合此类任务。
以下是一个示例，展示如何访问一个公开的JSON数据源：
# 载入所需的R包 library(tidyverse) # 包含管道操作符 %>% 和其他数据处理工具 library(httr2) # 用于发起HTTP请求 # 定义JSON数据源的URL json_url <- "https://services.healthtech.dtu.dk/services/BepiPred-2.0/tmp/630F1ABF0000500259861910/results.json" # 发起HTTP请求并获取JSON响应 json_response <- json_url %>% request() %>% # 创建一个请求对象 req_perform() %>% # 执行请求并获取响应 resp_body_json(simplifyVector = TRUE) # 将JSON响应体解析为R列表或数据框 # 打印解析后的JSON数据结构（部分） print(names(json_response)) print(json_response$csv_summary) # 假设我们知道CSV链接的键是 'csv_summary'
在上述代码中：
- request() 创建了一个HTTP请求对象。
- req_perform() 发送请求并等待服务器响应。
- resp_body_json(simplifyVector = TRUE) 将JSON响应体解析为R中的列表结构。simplifyVector = TRUE 尝试将列表中的向量简化为原子向量，方便后续处理。
3. 从JSON中提取并构建下载链接
解析JSON响应后，我们需要根据其结构来提取目标下载链接。在许多情况下，JSON数据会包含一个相对路径或部分URL，需要与网站的基础URL拼接才能形成完整的下载链接。
继续上面的例子，假设我们发现CSV文件的相对路径存储在csv_summary字段中：
# 从解析后的JSON数据中提取CSV文件的相对路径 csv_relative_path <- json_response$csv_summary # 网站的基础URL base_url <- "https://services.healthtech.dtu.dk" # 拼接基础URL和相对路径，构建完整的下载链接 full_csv_url <- str_c(base_url, csv_relative_path) # 打印完整的下载链接 print(full_csv_url)
通过这种方式，我们成功获取了CSV文件的完整下载链接，而无需实际点击或下载文件。
4. （可选）程序化下载文件
一旦获取了完整的下载链接，如果后续需要，可以使用R的内置函数download.file()来程序化地下载文件。
# 定义要保存的文件名
dest_filename <- "health_summary.csv"
# 使用download.file下载文件
download.file(url = full_csv_url,
destfile = dest_filename,
mode = "wb") # 'wb' 模式适用于二进制文件，确保正确下载
message(paste("文件已下载到:", dest_filename))5. 注意事项
- URL的动态性: 示例中的JSON URL包含一个tmp目录，这通常表示临时文件或会话相关的路径。这意味着该URL可能会过期或每次请求时都会变化。在实际应用中，你可能需要先访问一个主页面，从中提取出这个动态的JSON URL，然后再进行请求。
- 错误处理: 在实际项目中，应加入错误处理机制，例如检查HTTP响应状态码（resp_status()）以确保请求成功，以及处理JSON解析失败的情况。
- 网站服务条款: 在抓取任何网站数据之前，请务必查阅该网站的服务条款和robots.txt文件，确保你的行为符合规定。
- JSON结构变化: 网站的API响应结构可能会发生变化，导致你的代码失效。因此，定期检查并更新代码是必要的。
- 并非所有网站都适用: 并非所有网站都提供易于访问或结构清晰的API/JSON数据源。在某些情况下，传统的UI自动化仍然是唯一的选择。
6. 总结
通过直接与网站的API或JSON数据源交互，我们可以更高效、更稳定地获取所需的下载链接，避免了模拟复杂UI操作的诸多不便。这种方法不仅减少了代码的复杂性，还提高了数据获取的可靠性和执行效率。在进行网页数据提取时，始终优先考虑是否有可用的API接口，因为它通常是获取数据的最佳途径。
