在进行网页数据抓取（web scraping）时，我们通常会使用r中的rvest包来解析html文档的dom（document object model）结构。然而，现代网页的内容来源多样，有时重要的结构化数据并非以标准的html标签形式存在，而是以json（javascript object notation）字符串的形式内嵌在html文档的某个部分。当遇到这种情况时，直接使用rvest的html_nodes()或html_elements()等函数来定位和提取数据会遇到困难，因为它们主要针对html标签和属性进行匹配。
例如，一个网页的源代码可能包含如下结构：
<body>
<p>
[
{
"title1" : "abc 123",
"title2" : "bca 321",
"title3" : "cba 213",
"title4" : {"title5": "title6", "title7": [ -17662.3456, 987621.7654]}
},
...
]
</p>
</body>我们的目标是从这种内嵌的JSON结构中，例如，提取所有"title7"字段的数值数据，并将其整理成一个结构化的数据框。
首先，我们可以使用rvest包加载网页内容：
# 加载必要的库 library(rvest) library(httr) # 尽管本例中未直接使用，但httr常用于更复杂的HTTP请求 # 假设的网页URL url <- "https://mywebsite.com" # 读取网页内容 # 注意：read_html函数会尝试将内容解析为HTML文档 page <- read_html(url) # 查看page对象的基本信息 print(page) str(page)
此时，page对象是一个html_document类型，包含了网页的DOM结构。如果尝试直接使用html_nodes()来查找JSON中的键（例如"title4"），会发现无法获取任何结果，因为"title4"并非HTML标签：
立即学习“前端免费学习笔记（深入）”；
library(dplyr) # 用于管道操作符 %>%
# 尝试通过HTML节点选择器提取"title4"
page %>% html_nodes("title4")
# 结果将是：
# {xml_nodeset (0)}
# 这表明没有找到匹配的HTML节点这证实了我们的假设：JSON数据是作为纯文本嵌入在HTML中的，而不是作为可被HTML解析器识别的结构。
解决这个问题的关键在于两个步骤：首先，从HTML文档中提取包含JSON的原始文本字符串；其次，使用专门的JSON解析库将该字符串转换为R的数据结构。
rvest包提供了一个非常有用的函数html_text()，它可以提取HTML节点或整个文档的纯文本内容。对于本例，由于JSON数据是直接作为<body>或某个<p>标签的文本内容存在的，我们可以直接对整个page对象或包含JSON的特定节点使用html_text()。
# 提取整个HTML文档的纯文本内容 # 如果JSON数据是body内唯一的文本内容，直接对page使用是可行的。 # 更稳健的做法是先定位到包含JSON的特定HTML节点（如本例中的<p>），再提取其文本。 # 假设JSON字符串是body内唯一的或主要的文本内容 json_raw_text <- page %>% html_text() # 打印部分文本内容以验证 cat(substr(json_raw_text, 1, 500)) # 打印前500个字符
执行上述代码后，json_raw_text变量将包含一个长字符串，其中就包括了我们想要的JSON数据。
Easily find JSON paths within JSON objects using our intuitive Json Path Finder
30
R语言中处理JSON数据的标准库是jsonlite。它提供了parse_json()（或更常用的fromJSON()）函数，可以将JSON字符串解析为R的列表、数据框等数据结构。一个非常重要的参数是simplifyDataFrame = TRUE，它会尝试将JSON数组自动转换为数据框，大大简化了后续的数据处理。
# 加载jsonlite库 library(jsonlite) # 使用parse_json解析原始JSON文本 # simplifyDataFrame = TRUE 会尝试将JSON数组解析为数据框 parsed_data <- parse_json(json_raw_text, simplifyDataFrame = TRUE) # 查看解析后的数据结构 str(parsed_data)
str(parsed_data)的输出将显示一个结构化的R对象，很可能是一个数据框（如果顶层JSON是一个数组），其中嵌套的JSON对象和数组会被转换为列表或嵌套的数据框。例如，它可能会显示：
# 'data.frame': n obs. of 4 variables: # $ title1: chr "abc 123" "aec 183" ... # $ title2: chr "bca 321" "bga 351" ... # $ title3: chr "cba 213" "cha 293" ... # $ title4:'data.frame': n obs. of 2 variables: # ..$ title5: chr "title6" "title6" ... # ..$ title7:List of n # .. ..$ : num -17662 987622 # .. ..$ : num -1.62e+09 6.52e+08
这表明JSON数据已经被成功解析为一个包含嵌套数据框和列表的R数据框。
现在数据已经解析为R对象，我们可以轻松地访问和提取所需的信息。根据原始需求，我们需要提取"title7"中的两个数值。parsed_data$title4$title7会返回一个列表，其中每个元素都是一个包含两个数值的向量。
# 访问嵌套的"title7"数据 title7_list <- parsed_data$title4$title7 # 将列表中的向量绑定成一个矩阵 # do.call(rbind, ...) 是将列表中的每个元素作为行绑定起来的常用方法 final_result_matrix <- do.call(rbind, title7_list) # 查看最终结果 print(final_result_matrix)
最终输出将是一个矩阵，其结构符合我们的预期：
# [,1] [,2] # [1,] -1.766235e+04 987621.8 # [2,] -1.621626e+09 652238322.1 # ...
如果需要将其转换为带有列名的数据框，可以进一步操作：
final_result_df <- as.data.frame(final_result_matrix)
colnames(final_result_df) <- c("title7_1", "title7_2")
final_result_df$id <- 1:nrow(final_result_df) # 添加一个ID列
print(final_result_df)本教程展示了在R语言中处理网页中内嵌JSON数据的一种高效且健壮的方法。通过结合rvest包的read_html()和html_text()函数来获取原始的JSON字符串，再利用jsonlite包的parse_json()函数进行解析，我们可以成功地从复杂的网页结构中提取出所需的结构化数据。理解网页内容的实际编码方式（HTML DOM vs. 内嵌JSON）是选择正确解析工具和策略的关键。掌握这种方法将极大地扩展R语言在网页数据抓取方面的能力。
以上就是R语言：从HTML页面高效提取并解析内嵌JSON数据的详细内容，更多请关注php中文网其它相关文章！
HTML怎么学习？HTML怎么入门？HTML在哪学？HTML怎么学才快？不用担心，这里为大家提供了HTML速学教程(入门课程)，有需要的小伙伴保存下载就能学习啦！
广告
收藏
收藏
收藏
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
907
