应对动态网页爬取挑战：从HTML解析到API数据获取的Python实践

本文探讨了在使用beautifulsoup爬取动态加载内容网站（如binance p2p）时，因javascript渲染导致无法获取预期html数据的常见问题。针对此挑战，文章提供了一种高效且专业的解决方案：通过分析浏览器开发者工具中的网络请求，直接识别并调用网站的后端api来获取结构化的json数据，并结合python的requests库和pandas库进行数据请求与处理，从而稳定地抓取目标信息。

动态网页爬取的挑战

在进行网络数据抓取时，传统的HTML解析库如BeautifulSoup在处理静态网页时表现出色。然而，当目标网站采用JavaScript动态加载内容时，仅依赖requests库获取的初始HTML往往不包含用户在浏览器中看到的完整数据。这是因为这些数据是在浏览器执行JavaScript代码后才被渲染到DOM中的。尝试使用BeautifulSoup解析这类初始HTML，通常会发现缺失关键信息，甚至可能只得到一些样式定义（<style>标签）或其他非数据性的占位符，而非预期的div或其他承载数据的HTML元素。

识别并利用网站API

解决动态网页爬取问题的关键在于绕过前端渲染过程，直接与网站后端进行数据交互。许多现代网站通过API（应用程序接口）提供数据，这些API通常返回JSON格式的结构化数据。通过以下步骤，我们可以识别并利用这些API：

1. 使用浏览器开发者工具： 打开目标网页（例如，Binance P2P页面），然后打开浏览器的开发者工具（通常按F12键）。
2. 监控网络请求： 切换到“Network”（网络）选项卡。刷新页面，并观察加载过程中发出的所有请求。
3. 筛选API请求： 寻找类型为XHR（XMLHttpRequest）或Fetch的请求。这些通常是JavaScript用于从服务器异步获取数据的请求。
4. 分析请求详情： 点击可疑的请求，查看其“Headers”（请求头）、“Payload”（请求体）和“Response”（响应）。
   • 请求URL： 确定数据来源的API端点。
   • 请求方法： 通常是GET或POST。对于POST请求，需要注意请求体中的数据格式和内容。
   • 请求头： 复制必要的请求头，如User-Agent、Content-Type、Accept-Language等，以模拟正常的浏览器行为。
   • 响应数据： 检查响应是否包含所需的数据，通常是JSON格式。

Python实现API数据抓取

一旦确定了API端点、请求方法、请求头和请求体，就可以使用Python的requests库来模拟这些请求。pandas库则非常适合处理返回的JSON数据，特别是通过json_normalize函数将其扁平化为DataFrame。

以下是一个具体的示例，展示如何从Binance P2P获取交易数据：

立即学习“Python免费学习笔记（深入）”；

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

import requests
import pandas as pd
import json # 用于处理JSON字符串

# 初始化一个requests会话，以便在多个请求中保持相同的头部信息
s = requests.Session()

# 定义请求头，模拟浏览器行为
headers = {
    'content-type': 'application/json', # 明确告诉服务器发送的是JSON数据
    'accept-language': 'en-US,en;q=0.9',
    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
}

# 定义POST请求的JSON payload（请求体）
# 这个payload是根据在浏览器开发者工具中观察到的实际请求体构造的
payload_data = {
    "proMerchantAds": False,
    "page": 1,
    "rows": 10,
    "payTypes": [],
    "countries": [],
    "publisherType": None,
    "asset": "USDT",
    "fiat": "RUB",
    "tradeType": "BUY"
}
# 将Python字典转换为JSON字符串
payload = json.dumps(payload_data)

# 定义API的URL
url = 'https://p2p.binance.com/bapi/c2c/v2/friendly/c2c/adv/search'

# 更新会话的请求头
s.headers.update(headers)

# 发送POST请求
# data参数用于发送原始的请求体数据（如JSON字符串）
r = s.post(url, data=payload)

# 检查请求是否成功
if r.status_code == 200:
    # 解析JSON响应
    json_response = r.json()

    # 使用pandas的json_normalize函数将嵌套的JSON数据扁平化为DataFrame
    # 'data'是JSON响应中包含实际列表数据的键
    df = pd.json_normalize(json_response['data'])

    # 打印DataFrame的前几行
    print(df.head())
else:
    print(f"请求失败，状态码: {r.status_code}")
    print(f"响应内容: {r.text}")

代码解析：

• requests.Session(): 创建一个会话对象，可以跨多个请求自动处理cookies，并保持相同的请求头。这对于模拟用户会话非常有用。
• headers: 字典形式的请求头，包含了Content-Type（指定请求体是JSON格式）和User-Agent（模拟浏览器身份）。
• payload_data: 一个Python字典，包含了POST请求所需的参数。这些参数决定了API返回的数据类型（例如，USDT、RUB、购买类型等）。
• json.dumps(payload_data): 将Python字典转换为JSON格式的字符串，因为requests.post的data参数通常期望字符串或字节流。
• s.post(url, data=payload): 发送POST请求。data参数用于发送请求体数据。
• r.json(): 如果服务器响应是JSON格式，此方法会将其解析为Python字典或列表。
• pd.json_normalize(json_response['data']): json_normalize是Pandas中一个强大的函数，用于将半结构化的JSON数据（特别是包含嵌套列表和字典的）转换为扁平的表格结构DataFrame。这里我们指定提取json_response中键为'data'的部分进行处理。

数据处理与分析

通过pd.json_normalize处理后，API返回的复杂JSON数据被转换成了一个易于操作的Pandas DataFrame。这个DataFrame包含了原始JSON中的所有字段，并且通过点符号（例如adv.price、advertiser.nickName）清晰地表示了嵌套结构。现在，你可以利用Pandas的强大功能对数据进行筛选、排序、聚合或进一步的分析。

例如，要获取价格和交易量信息，可以直接访问相应的列：

# 假设df是上面代码生成的DataFrame
if 'adv.price' in df.columns and 'adv.surplusAmount' in df.columns:
    prices_and_amounts = df[['adv.price', 'adv.surplusAmount', 'advertiser.nickName']]
    print("\n价格和剩余数量：")
    print(prices_and_amounts)

注意事项与最佳实践

1. 动态网站复杂性： 并非所有动态网站都提供清晰的API。有些网站可能使用WebSocket、GraphQL或其他更复杂的机制。
2. 反爬机制： 网站可能会实施各种反爬机制，如IP限制、验证码、请求频率限制等。在实际爬取时，可能需要引入代理IP池、设置请求延迟、处理验证码等。
3. User-Agent轮换： 使用fake_useragent库可以动态生成随机的User-Agent，进一步模拟真实用户行为，降低被封禁的风险。
4. 错误处理： 务必添加健壮的错误处理机制，例如检查requests响应的状态码，处理JSON解析错误等。
5. 遵守规则： 在进行网络爬取时，应始终遵守目标网站的robots.txt协议和使用条款。过度或恶意爬取可能导致法律问题或IP被封禁。
6. API变更： 网站的API可能会随着时间而改变，导致爬虫失效。定期检查API的可用性和结构是必要的。

总结

当面对JavaScript动态加载内容的网站时，传统的BeautifulSoup HTML解析方法往往力不从心。通过深入分析浏览器开发者工具中的网络请求，识别并直接调用网站的后端API，是获取结构化数据的更高效和稳定的方法。结合Python的requests库进行请求发送，以及pandas.json_normalize进行JSON数据处理，可以构建出强大且专业的网络爬虫，有效应对现代网页的复杂性。

以上就是应对动态网页爬取挑战：从HTML解析到API数据获取的Python实践的详细内容，更多请关注php中文网其它相关文章！