使用Selenium 4 DevTools API高效拦截与分析网络请求头

package com.example;

import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v126.network.Network;
import org.openqa.selenium.devtools.v126.network.model.Request;

import java.util.ArrayList;
import java.util.List;
import java.util.Optional;
import java.util.concurrent.TimeUnit;

public class NetworkInterceptor {

    public static void main(String[] args) throws InterruptedException {
        // 1. 配置ChromeDriver
        // 确保你已经设置了ChromeDriver的路径，或者使用WebDriverManager自动管理
        // WebDriverManager.chromedriver().setup(); // 如果使用WebDriverManager

        ChromeOptions options = new ChromeOptions();
        // 可以添加无头模式参数，DevTools API同样支持
        // options.addArguments("--headless"); 
        // options.addArguments("--disable-gpu"); // 无头模式下有时需要

        ChromeDriver driver = new ChromeDriver(options);

        // 用于存储捕获到的请求信息
        List<Request> capturedRequests = new ArrayList<>();

        try {
            // 2. 创建DevTools会话
            DevTools devTools = driver.getDevTools();
            devTools.createSession();

            // 3. 启用网络域
            // Optional参数用于配置是否捕获响应体等，这里我们只关注请求头，所以使用empty
            devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));

            // 4. 注册事件监听器
            // 监听 requestWillBeSent 事件，该事件在请求发送前触发
            devTools.addListener(Network.requestWillBeSent(), requestWillBeSent -> {
                Request request = requestWillBeSent.getRequest();
                capturedRequests.add(request); // 将请求添加到列表中
                System.out.println("------------------------------------");
                System.out.println("Request URL: " + request.getUrl());
                System.out.println("Request Method: " + request.getMethod());
                System.out.println("Request Headers: " + request.getHeaders().toJson());
                System.out.println("------------------------------------");
            });

            // 5. 导航到目标网页
            driver.get("https://www.google.com");

            // 等待一段时间，确保网络请求能够被捕获
            TimeUnit.SECONDS.sleep(10);

            // 打印所有捕获到的请求数量
            System.out.println("\nTotal captured requests: " + capturedRequests.size());
            // 你可以进一步处理 capturedRequests 列表，例如保存到文件或进行断言

        } finally {
            // 关闭浏览器和DevTools会话
            if (driver != null) {
                driver.quit();
            }
        }
    }
}