使用Python Selenium捕获网络请求与API响应数据

pip install selenium-wire

from seleniumwire import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import json
import time
import logging

# 配置日志
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

def capture_api_response_with_selenium_wire(target_url, api_endpoint_pattern):
    """
    使用selenium-wire捕获特定API请求的JSON响应。

    Args:
        target_url (str): 目标网页URL。
        api_endpoint_pattern (str): API端点的URL模式，用于匹配目标请求。

    Returns:
        dict: 捕获到的API响应体（JSON格式），如果未找到则返回None。
    """
    # 配置WebDriver服务（例如Chrome）
    # 请确保您的ChromeDriver与Chrome浏览器版本匹配
    service = Service(executable_path='/path/to/chromedriver') 

    # 创建selenium-wire的Chrome驱动实例
    # 可以在options中配置代理、无头模式等
    options = webdriver.ChromeOptions()
    # options.add_argument('--headless') # 如果需要无头模式
    driver = webdriver.Chrome(service=service, options=options)

    try:
        # 1. 访问目标网页
        driver.get(target_url)
        logger.info(f"已访问目标URL: {target_url}")

        # 2. 清除之前的请求记录，确保只捕获当前操作产生的请求
        driver.requests.clear()

        # 3. 执行触发API请求的操作
        # 假设页面上有一个按钮，点击后会触发API请求
        # 请根据实际页面元素进行调整
        try:
            # 示例：等待某个元素出现并点击它
            button = WebDriverWait(driver, 10).until(
                EC.element_to_be_clickable((By.ID, 'some-button-id')) # 替换为实际的元素ID
            )
            button.click()
            logger.info("已点击触发API请求的按钮。")
            # 给API请求一些时间来完成
            time.sleep(3) 
        except Exception as e:
            logger.warning(f"未能找到或点击触发API请求的元素: {e}")
            # 如果没有需要点击的元素，或者API请求是页面加载时自动发出的，可以跳过此步骤

        # 4. 遍历所有捕获到的请求
        for request in driver.requests:
            # 检查请求的URL是否包含目标API端点模式
            if api_endpoint_pattern in request.url:
                logger.info(f"发现匹配的API请求: {request.url}")
                logger.info(f"请求方法: {request.method}")
                logger.info(f"请求头: {request.headers}")
                # logger.info(f"请求体: {request.body.decode('utf-8') if request.body else 'N/A'}") # 如果需要请求体

                # 检查响应是否已完成并且状态码是成功的
                if request.response and request.response.status_code < 400:
                    try:
                        # 获取响应体
                        response_body = request.response.body.decode('utf-8')
                        logger.info(f"API响应状态码: {request.response.status_code}")
                        logger.info(f"API响应头: {request.response.headers}")
                        logger.info(f"API响应体: {response_body}")

                        # 尝试解析JSON响应
                        if 'application/json' in request.response.headers.get('Content-Type', ''):
                            json_response = json.loads(response_body)
                            logger.info("成功解析JSON响应。")
                            return json_response
                        else:
                            logger.warning("响应Content-Type不是JSON。")
                            return response_body # 返回原始响应体
                    except json.JSONDecodeError:
                        logger.error("无法解析API响应体为JSON。")
                        return response_body # 返回原始响应体
                    except Exception as e:
                        logger.error(f"处理API响应时发生错误: {e}")
                        return None
                else:
                    logger.warning(f"API请求 {request.url} 的响应未完成或状态码不成功: {request.response.status_code if request.response else 'N/A'}")

        logger.info(f"未找到匹配 '{api_endpoint_pattern}' 的API请求或响应。")
        return None

    except Exception as e:
        logger.error(f"在执行Selenium操作时发生错误: {e}")
        return None
    finally:
        # 确保关闭浏览器
        driver.quit()
        logger.info("浏览器已关闭。")

# 示例调用
if __name__ == "__main__":
    # 替换为您的实际URL和API端点模式
    example_target_url = 'https://www.example.com' 
    example_api_pattern = '/api/v1/data' # 假设API请求的URL中包含此模式

    # 注意：请将'/path/to/chromedriver'替换为您的ChromeDriver实际路径
    # 如果您的ChromeDriver在系统PATH中，可以省略service参数或直接Service()

    api_data = capture_api_response_with_selenium_wire(example_target_url, example_api_pattern)

    if api_data:
        print("\n--- 捕获到的API数据 ---")
        print(json.dumps(api_data, indent=2, ensure_ascii=False))
    else:
        print("\n未能捕获到目标API数据。")