使用 Python 和 Selenium 自动化捕获新浏览器标签页的网页响应-html教程-PHP中文网

使用 Python 和 Selenium 自动化捕获新浏览器标签页的网页响应

本文将详细介绍如何利用 python 的 selenium 库自动化捕获从现有浏览器会话中打开的新标签页内容，特别针对目标网站自动生成 json 响应的场景。通过模拟用户行为，selenium 能够有效管理多窗口、切换焦点并提取所需数据，从而实现复杂的网页自动化和数据抓取任务。

引言：自动化网页响应捕获的挑战

在进行网页自动化和数据抓取时，我们经常会遇到一些挑战，例如目标网站需要用户登录状态、执行复杂的 JavaScript 交互，或者在特定操作后自动打开一个新标签页来显示响应数据（如 JSON 格式）。传统的 HTTP 请求库（如 requests）难以处理这类场景，因为它无法模拟完整的浏览器环境和会话状态。

针对这种需要模拟真实浏览器行为的场景，Selenium 提供了一个强大的解决方案。它允许开发者通过编程方式控制浏览器，执行点击、输入、等待等操作，并能够管理多个窗口或标签页，从而捕获那些在浏览器新标签页中呈现的动态内容。

Selenium 简介与环境配置

Selenium 是一个用于自动化浏览器操作的工具集。它支持多种浏览器（如 Chrome, Firefox, Edge 等），并提供了多种编程语言的 API。

1. 安装 Selenium 库

首先，需要通过 pip 安装 Selenium Python 库：

立即学习“Python免费学习笔记（深入）”；

pip install selenium

登录后复制

2. 下载并配置 WebDriver

Selenium 需要一个 WebDriver 来与具体的浏览器进行通信。你需要根据你使用的浏览器下载相应的 WebDriver。

Chrome 浏览器: 下载 ChromeDriver，确保其版本与你的 Chrome 浏览器版本兼容。
Firefox 浏览器: 下载 GeckoDriver。
Edge 浏览器: 下载 Edge WebDriver。

下载后，将 WebDriver 可执行文件放置在系统 PATH 环境变量中包含的目录里，或者在初始化 WebDriver 时指定其路径。

3. 初始化 WebDriver

以下代码展示了如何初始化 Chrome WebDriver：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# 如果 WebDriver 不在 PATH 中，需要指定其路径
# service = Service('/path/to/chromedriver')
# driver = webdriver.Chrome(service=service)

# 如果 WebDriver 在 PATH 中，可以直接初始化
driver = webdriver.Chrome()

登录后复制

核心实现：捕获新标签页内容

捕获在新标签页中打开的响应数据，主要涉及以下几个关键步骤：

千面视频动捕

千面视频动捕是一个AI视频动捕解决方案，专注于将视频中的人体关节二维信息转化为三维模型动作。

查看详情

1. 启动浏览器并导航至初始页面

首先，使用 WebDriver 打开会触发新标签页的初始 URL。

driver.get("https://your-initial-website.com")

登录后复制

2. 识别并等待新标签页打开

当网站执行某个操作（例如，点击一个按钮或提交一个表单）后，可能会在新标签页中显示结果。我们需要等待这个新标签页完全打开。Selenium 通过管理 window_handles 来识别不同的窗口或标签页。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 存储原始窗口句柄
original_window = driver.current_window_handle
print(f"原始窗口句柄: {original_window}")

# 假设某个操作会触发新标签页，这里模拟点击一个元素
# 例如: driver.find_element(By.ID, "triggerButton").click()

# 使用显式等待，等待窗口句柄数量发生变化（即新标签页打开）
# 如果预期只有一个新标签页，则等待窗口总数变为2
WebDriverWait(driver, 10).until(EC.number_of_windows_to_be(2))

# 获取所有窗口句柄
all_windows = driver.window_handles
print(f"所有窗口句柄: {all_windows}")

# 找到新打开的窗口句柄（与原始句柄不同的那个）
new_window = [window for window in all_windows if window != original_window][0]
print(f"新窗口句柄: {new_window}")

登录后复制

3. 切换到新标签页

找到新标签页的句柄后，需要使用 switch_to.window() 方法将 WebDriver 的焦点切换到该标签页，以便对其进行操作。

driver.switch_to.window(new_window)
print(f"已切换到新标签页，标题: {driver.title}")

登录后复制

4. 提取新标签页的数据

在新标签页中，通常会显示纯文本的 JSON 数据。我们可以通过获取页面的 page_source 或直接提取 <body> 标签的文本内容来获取这些数据。

from selenium.webdriver.common.by import By
import json

# 等待页面加载完成，或者等待特定的元素出现
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.TAG_NAME, "body")))

try:
    # 获取整个页面 body 的文本内容，这通常是纯 JSON
    json_text = driver.find_element(By.TAG_NAME, "body").text
    data = json.loads(json_text) # 尝试解析 JSON
    print("成功解析 JSON 数据:")
    print(json.dumps(data, indent=2)[:500] + "...") # 打印前500字符
except json.JSONDecodeError:
    print("无法解析为 JSON，可能是页面内容不是纯 JSON 或格式错误。")
    print("页面内容示例 (前500字符):")
    print(driver.page_source[:500] + "...")
except Exception as e:
    print(f"提取或解析数据时发生错误: {e}")

登录后复制

5. 关闭新标签页并返回原始标签页

完成数据提取后，为了保持浏览器状态的整洁，可以关闭新标签页，并根据需要切换回原始标签页。

# 关闭当前（新）标签页
driver.close()

# 切换回原始标签页（如果需要继续操作）
driver.switch_to.window(original_window)
print(f"已切换回原始标签页，标题: {driver.title}")

登录后复制

示例代码：捕获动态 JSON 响应

以下是一个综合示例，演示如何使用 Selenium 自动化捕获在新标签页中打开的 JSON 响应。请注意，https://your-initial-website.com 和其触发新标签页的机制需要根据实际情况进行调整。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import json
import time

def capture_new_tab_json_response(initial_url, driver_path=None):
    """
    使用 Selenium 捕获在新标签页中打开的 JSON 响应。

    Args:
        initial_url (str): 触发新标签页的初始 URL。
        driver_path (str, optional): WebDriver 的路径。如果已在 PATH 中，则无需提供。

    Returns:
        dict or None: 如果成功解析到 JSON 数据则返回字典，否则返回 None。
    """
    driver = None
    try:
        if driver_path:
            from selenium.webdriver.chrome.service import Service
            service = Service(driver_path)
            driver = webdriver.Chrome(service=service)
        else:
            driver = webdriver.Chrome()

        print(f"导航到初始页面: {initial_url}")
        driver.get(initial_url)

        # 存储原始窗口句柄
        original_window = driver.current_window_handle
        print(f"原始窗口句柄: {original_window}")

        # 模拟触发新标签页的操作（例如点击一个链接或按钮）
        # 在实际应用中，这里需要根据目标网站的实际情况编写代码
        # 假设在 initial_url 页面加载后，会有一个脚本自动打开新标签页
        # 或者需要点击某个元素来触发
        # 例如:
        # try:
        #     # 查找一个可能触发新标签页的元素并点击
        #     trigger_element = WebDriverWait(driver, 10).until(
        #         EC.element_to_be_clickable((By.ID, "some-trigger-id"))
        #     )
        #     trigger_element.click()
        #     print("已点击触发新标签页的元素。")
        # except TimeoutException:
        #     print("未找到触发新标签页的元素或页面加载超时。")
        #     # 如果没有显式触发动作，则假设页面加载后会自动打开新标签页

        # 等待新标签页打开
        print("等待新标签页打开...")
        WebDriverWait(driver, 15).until(EC.number_of_windows_to_be(2))

        all_windows = driver.window_handles
        new_window = [window for window in all_windows if window != original_window][0]

        # 切换到新标签页
        driver.switch_to.window(new_window)
        print(f"已切换到新标签页，标题: {driver.title}")

        # 等待新标签页内容加载完成
        WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.TAG_NAME, "body")))

        json_data = None
        try:
            # 获取新标签页的 body 文本，通常纯 JSON 会直接显示在这里
            json_text = driver.find_element(By.TAG_NAME, "body").text
            json_data = json.loads(json_text)
            print("成功捕获并解析 JSON 数据。")
            # print(json.dumps(json_data, indent=2)[:500] + "...") # 打印部分数据
        except json.JSONDecodeError:
            print("新标签页内容不是有效的 JSON 格式。")
            print("新标签页内容示例 (前500字符):")
            print(driver.page_source[:500] + "...")
        except Exception as e:
            print(f"提取或解析数据时发生错误: {e}")

        return json_data

    except TimeoutException:
        print("等待新标签页或元素超时。")
        return None
    except Exception as e:
        print(f"发生未知错误: {e}")
        return None
    finally:
        if driver:
            # 关闭新标签页
            if driver.current_window_handle != original_window:
                driver.close()
            # 切换回原始标签页并关闭整个浏览器会话
            driver.switch_to.window(original_window)
            driver.quit()
            print("浏览器已关闭。")

# 示例调用
if __name__ == "__main__":
    # 替换为你的 WebDriver 路径，如果已在 PATH 中则设为 None
    # CHROME_DRIVER_PATH = '/usr/local/bin/chromedriver' 
    CHROME_DRIVER_PATH = None 

    # 替换为实际会触发新标签页的 URL
    # 为了演示，这里使用一个假设的 URL，实际应用中请替换为 instafinsta.com 等
    # 请注意：直接访问 instafinsta.com 可能需要用户手动操作，
    # 这里的 initial_url 应该指向完成操作后会打开 JSON 新标签页的那个 URL
    # 或者，如果 initial_url 是一个能通过 JS 模拟点击打开新标签页的测试页面，会更好

    # 假设一个测试页面，点击后会打开一个包含 JSON 的新标签页
    # 实际场景中，这可能是你完成某个操作后，网站自动跳转或打开的 JSON 页面
    test_initial_url = "https://www.example.com" # 这是一个占位符，请替换为实际触发页面

    # 一个包含 JSON 的 URL，用于模拟新标签页内容
    # 实际应用中，新标签页的 URL 通常是动态生成的，但内容是纯 JSON
    # 例如：https://api.github.com/users/octocat

    print("--- 开始捕获 JSON 响应 ---")
    captured_data = capture_new_tab_json_response(test_initial_url, CHROME_DRIVER_PATH)

    if captured_data:
        print("\n--- 捕获到的 JSON 数据摘要 ---")
        print(json.dumps(captured_data, indent=2)[:500] + "...")
    else:
        print("\n未能成功捕获或解析 JSON 数据。")
    print("--- 捕获结束 ---")

登录后复制

重要提示： 在上述示例中，test_initial_url 是一个占位符。在实际应用中，你需要将它替换为你的目标网站（例如 instafinsta.com）中，在用户完成某些操作后会打开新标签页并显示 JSON 响应的那个 URL。如果该网站需要登录或复杂的交互才能触发新标签页，你还需要在 driver.get(initial_url) 之后，添加相应的 Selenium 代码来模拟这些用户行为（如输入用户名密码、点击登录按钮、输入故事链接等）。