Python爬取动态加载数据：通过模拟GraphQL API请求获取隐藏信息

本教程旨在解决使用beautifulsoup无法直接爬取javascript动态加载内容的问题。文章将详细阐述为何传统html解析器在此场景下失效，并提供一种高效策略：通过浏览器开发者工具识别并模拟前端触发的graphql api请求。我们将使用python的`requests`库重构请求，直接从api获取数据，从而成功提取隐藏在弹出按钮后的电话号码等动态内容。

理解动态内容加载机制与传统爬虫的局限性

在现代Web开发中，许多网站为了提供更流畅的用户体验，会采用JavaScript动态加载内容。这意味着当您首次访问一个页面时，服务器返回的HTML文档可能只包含一个骨架，而实际的数据（如商品详情、用户评论、联系方式等）会在浏览器加载页面后，通过JavaScript执行异步请求（AJAX、XHR、Fetch API）从服务器获取，然后动态地插入到DOM（文档对象模型）中。

对于这类网站，仅使用像BeautifulSoup这样的HTML解析库是不足的。BeautifulSoup只能解析HTTP请求返回的原始HTML文本，它无法执行JavaScript代码，也无法感知或等待动态加载的内容。因此，如果目标信息是点击按钮后才通过JavaScript异步加载显示出来的，BeautifulSoup将无法在初始页面内容中找到它。

例如，在一个网站上，电话号码可能被隐藏在一个“联系方式”按钮后面。当用户点击该按钮时，前端JavaScript会向某个API发送请求，获取电话号码，然后将其显示在一个弹出框中。此时，传统的爬虫会发现：

1. 初始HTML中没有电话号码。
2. BeautifulSoup无法模拟点击事件。

为了解决这个问题，我们可以采取更高级的策略：绕过前端的JavaScript渲染过程，直接模拟浏览器向后端API发出的数据请求。

立即学习“Python免费学习笔记（深入）”；

识别后端API请求

要成功爬取动态加载的内容，关键在于找出前端JavaScript究竟向哪个后端API发送了请求，以及请求的具体参数是什么。这通常可以通过浏览器内置的开发者工具（Developer Tools）来完成。

以下是识别API请求的步骤：

微信 WeLM

WeLM不是一个直接的对话机器人，而是一个补全用户输入信息的生成模型。

33

查看详情

1. 打开目标网页： 在Chrome、Firefox等浏览器中打开目标网页。
2. 打开开发者工具： 按F12键或右键点击页面选择“检查”/“审查元素”。
3. 切换到“网络”(Network)标签页： 这个标签页会记录浏览器与服务器之间所有的HTTP请求。
4. 清空并模拟操作： 清空网络请求记录（通常有一个圆形带斜线的图标），然后点击页面上会触发内容加载的按钮（例如本例中的“التواصل”按钮）。
5. 分析请求： 在“网络”标签页中，您会看到一系列新的请求。仔细查找那些返回JSON数据的请求，特别是那些方法为POST且URL看起来像API端点的请求。
   • URL： 记录请求的完整URL。
   • 方法： 通常是GET或POST。对于动态数据提交或查询，POST更常见。
   • 请求头(Request Headers)： 记录重要的请求头，如User-Agent、Content-Type等。
   • 请求载荷(Request Payload)： 对于POST请求，这是至关重要的。它包含了发送给服务器的数据。在GraphQL API中，通常会包含query（GraphQL查询语句）和variables（查询变量）等字段。

在本例中，通过分析会发现，点击“التواصل”按钮后，浏览器会向https://graphql.haraj.com.sa发送一个POST请求。其请求载荷是一个JSON对象，其中包含一个GraphQL查询，以及一个postId变量。这个postId通常可以从原始页面的URL中提取出来。

模拟API请求获取数据

一旦我们识别出API的URL、请求方法、请求头和请求载荷，就可以使用Python的requests库来模拟这个请求。requests库能够发送各种HTTP请求，并处理响应。

下面是模拟GraphQL API请求以获取隐藏电话号码的Python代码示例：

import requests
import sys

def get_post_contact(post_id: int) -> str | None:
    """
    通过模拟GraphQL API请求获取指定帖子的联系方式。

    Args:
        post_id (int): 帖子的ID。

    Returns:
        str | None: 如果成功，返回联系方式字符串；否则返回None。
    """
    url = "https://graphql.haraj.com.sa"

    # 根据实际API要求设置参数。
    # 在本例中，这些参数可能是可选或不重要的，但为了模仿浏览器行为可以保留。
    params = {
        "queryName": "postContact",
        "token": "",  # 实际应用中可能需要动态获取
        "clientId": "", # 实际应用中可能需要动态获取
        "version": ""   # 实际应用中可能需要动态获取
    }

    # 设置请求头，模仿浏览器行为，避免被服务器识别为爬虫。
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36"
    }

    # 构建GraphQL请求的JSON载荷。
    # query: 定义了要执行的GraphQL查询。
    # variables: 提供了查询所需的变量，如postId。
    payload = {   
        "query": "query postContact($postId: Int!) {postContact(postId: $postId){contactText}}",
        "variables": {
            "postId": post_id
        }
    }

    try:
        # 发送POST请求，将payload作为JSON数据发送。
        response = requests.post(url, params=params, headers=headers, json=payload)
        response.raise_for_status()  # 检查请求是否成功（200 OK）。

        # 解析JSON响应。
        data = response.json()

        # 从响应数据中提取电话号码。
        contact_text = data.get('data', {}).get('postContact', {}).get('contactText')
        return contact_text
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}", file=sys.stderr)
        return None
    except ValueError as e:
        print(f"JSON解析失败: {e}", file=sys.stderr)
        return None

def main():
    # 示例用法：假设我们从原始URL https://haraj.com.sa/1194697687 中提取出 postId 94697687
    example_post_id = 94697687 
    phone_number = get_post_contact(example_post_id)

    if phone_number:
        print(f"获取到的电话号码是: {phone_number}")
    else:
        print("未能获取电话号码。")

    return 0

if __name__ == "__main__":
    sys.exit(main())

代码解析：

1. import requests: 导入requests库。
2. url = "https://graphql.haraj.com.sa": 这是GraphQL API的端点URL。
3. params: 这是一个字典，包含了URL查询参数。在本例中，API可能对这些参数不那么严格，但为了完整性，可以根据浏览器请求进行设置。
4. headers: 这是一个字典，包含了请求头。设置User-Agent可以模拟浏览器行为，降低被网站反爬虫机制识别的风险。
5. payload: 这是最重要的部分，一个字典，将被转换为JSON格式作为POST请求的主体。
   • "query": 包含GraphQL查询字符串。它定义了我们想要从服务器获取的数据结构（这里是postContact的contactText）。
   • "variables": 包含GraphQL查询所需的变量。"postId"是动态获取的关键，它对应着特定帖子的ID。这个ID通常可以从原始页面的URL中提取（例如，https://haraj.com.sa/1194697687 中的1194697687）。
6. requests.post(url, params=params, headers=headers, json=payload): 发送POST请求。json=payload参数会自动将payload字典序列化为JSON格式并设置Content-Type: application/json请求头。
7. response.raise_for_status(): 这是一个非常有用的方法，如果HTTP请求返回了错误状态码（如4xx或5xx），它会抛出一个HTTPError异常。这有助于我们捕获并处理网络或服务器错误。
8. response.json(): 将响应体解析为JSON格式的Python字典。
9. 数据提取: 通过字典的键访问嵌套数据，获取contactText。

运行上述代码，您将得到类似以下的输出：

获取到的电话号码是: 0562038953

注意事项与最佳实践

• 动态postId的获取： 在实际爬取大量页面时，您需要编写逻辑从每个页面的URL中动态提取postId，而不是硬编码。
• 请求头的重要性： 某些网站可能会检查User-Agent、Referer等请求头来识别爬虫。尽可能模拟真实的浏览器请求头。
• 错误处理： 始终添加try-except块来处理可能的网络错误（如连接超时、DNS解析失败）和JSON解析错误。
• API稳定性： 直接调用API可能比解析HTML更稳定，因为API接口通常变化较少。但如果API结构发生变化，您的爬虫也需要更新。
• 反爬机制： 某些API可能实施更严格的反爬机制，例如：
  • 速率限制： 限制单位时间内请求次数。
  • IP封锁： 频繁请求可能导致IP被封。
  • 验证码/令牌： 需要额外的验证或动态令牌。
  • 复杂加密： 请求参数可能被加密。 遇到这些情况，可能需要引入代理IP池、设置请求间隔、分析并模拟加密算法或使用Selenium等工具。
• 法律与道德： 在进行任何爬取活动之前，请务必查阅网站的robots.txt文件和服务条款，并遵守相关法律法规及道德规范。

总结

当面对JavaScript动态加载内容的网站时，BeautifulSoup等静态HTML解析器会显得力不从心。此时，最有效的方法是深入了解浏览器与服务器之间的交互，通过开发者工具识别出底层的API请求。一旦确定了API的URL、请求方法、请求头和请求载荷，我们就可以利用Python的requests库精确地模拟这些请求，直接从API获取所需的动态数据。这种方法不仅高效，而且通常比模拟浏览器行为（如使用Selenium）更轻量级，是处理现代Web爬取挑战的重要策略。

以上就是Python爬取动态加载数据：通过模拟GraphQL API请求获取隐藏信息的详细内容，更多请关注php中文网其它相关文章！