R语言结合RSelenium与rvest：从动态PHP网站高效提取表格数据

# 安装或加载所需R包
install.packages(c("RSelenium", "rvest", "xml2"))
library(RSelenium)
library(rvest)
library(xml2)

# 启动RSelenium服务器和Firefox浏览器客户端
# verbose = FALSE 可以减少控制台输出
driver <- rsDriver(browser = "firefox", port = 4545L, verbose = FALSE) 
server <- driver$server   # 获取Selenium服务器对象
browser <- driver$client  # 获取浏览器客户端对象

# 导航至目标URL
target_url <- "http://www.medindex.am/glossary/semantic_types/B2.2-disease-syndrome-pathologic-function.php"
browser$navigate(target_url)

# 获取浏览器渲染后的页面源代码
doc <- xml2::read_html(browser$getPageSource()[[1]])

# 使用rvest::html_table()提取页面上的所有表格
# html_table()会返回一个列表，其中每个元素是一个数据框
all.table <- rvest::html_table(doc)

# 检查提取到的表格数量和内容，通常目标表格需要通过索引来选择
# 例如，如果目标表格是页面上的第二个表格
if (length(all.table) > 1) {
  target_table_df <- all.table[[2]]
  print(head(target_table_df))
} else {
  message("页面上未找到足够数量的表格，或目标表格索引不正确。")
}

library(RSelenium)
library(rvest)
library(xml2)

# --- 1. 启动RSelenium服务器和浏览器客户端 ---
# browser = "firefox" 或 "chrome"
# port 建议使用一个未被占用的端口
driver <- rsDriver(browser = "firefox", port = 4545L, verbose = FALSE) 
server <- driver$server
browser <- driver$client

# --- 2. 导航至目标URL ---
target_url <- "http://www.medindex.am/glossary/semantic_types/B2.2-disease-syndrome-pathologic-function.php"
browser$navigate(target_url)

# --- 3. 获取页面源代码并提取表格 ---
# 等待页面加载完成（可选，如果页面加载较慢）
# Sys.sleep(5) # 等待5秒，确保所有内容都已渲染

doc <- xml2::read_html(browser$getPageSource()[[1]])
all.table <- rvest::html_table(doc)

# 假设目标表格是列表中的第二个元素
# 实际操作中，可能需要通过检查all.table的结构来确定正确的索引
if (length(all.table) >= 2) {
  extracted_data_frame <- all.table[[2]]
  print("成功提取表格数据的前几行：")
  print(head(extracted_data_frame))
} else {
  warning("页面上未找到足够的表格，或目标表格索引不正确。")
}

# --- 4. 清理RSelenium资源 ---
browser$close() # 关闭浏览器客户端
server$stop()   # 停止Selenium服务器

# 强制结束Java进程，避免端口占用（Windows系统）
# 在某些情况下，Selenium服务器的Java进程可能不会完全关闭，导致端口被占用
# 对于Linux/macOS，可以使用 `system("killall java")` 或 `system("pkill java")`
system("taskkill /im java.exe /f", intern = FALSE, ignore.stdout = FALSE)

# 打印最终提取的数据框的维度
if (exists("extracted_data_frame")) {
  cat("\n提取到的数据框维度：", dim(extracted_data_frame)[1], "行,", dim(extracted_data_frame)[2], "列\n")
}