使用Selenium 4 DevTools API进行网络请求拦截与分析

import io.github.bonigarcia.wdm.WebDriverManager;
import net.lightbody.bmp.BrowserMobProxy;
import net.lightbody.bmp.BrowserMobProxyServer;
import net.lightbody.bmp.client.ClientUtil;
import net.lightbody.bmp.core.har.Har;
import net.lightbody.bmp.proxy.CaptureType;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.remote.CapabilityType;
import org.openqa.selenium.remote.DesiredCapabilities;

import java.io.File;
import java.util.concurrent.TimeUnit;

public class BrowsermobProxyExample {

    public static void main(String[] args) throws Exception {
        WebDriver driver = null;
        BrowserMobProxy proxy = new BrowserMobProxyServer();
        proxy.setTrustAllServers(true); // 信任所有SSL证书
        proxy.start(0); // 启动代理，端口随机

        // 创建Selenium Proxy对象并关联Browsermob Proxy
        Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy);
        String hostIp = "localhost";
        seleniumProxy.setHttpProxy(hostIp + ":" + proxy.getPort());
        seleniumProxy.setSslProxy(hostIp + ":" + proxy.getPort());

        WebDriverManager.chromedriver().setup();
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless"); // 无头模式
        options.addArguments("--ignore-certificate-errors"); // 忽略证书错误

        DesiredCapabilities capabilities = new DesiredCapabilities();
        capabilities.setCapability(CapabilityType.PROXY, seleniumProxy);
        capabilities.setCapability(CapabilityType.ACCEPT_INSECURE_CERTS, true);
        options.merge(capabilities);

        try {
            driver = new ChromeDriver(options);

            // 启用HAR捕获类型
            proxy.enableHarCaptureTypes(CaptureType.REQUEST_HEADERS, CaptureType.RESPONSE_HEADERS,
                                       CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT);
            proxy.newHar("example.com"); // 创建新的HAR文件

            driver.get("https://www.example.com"); // 访问目标网站
            TimeUnit.SECONDS.sleep(10); // 等待页面加载及网络请求完成

            Har har = proxy.getHar(); // 获取HAR日志
            har.writeTo(new File("test.har")); // 写入文件

            System.out.println("HAR entries captured: " + har.getLog().getEntries().size());

        } finally {
            if (driver != null) {
                driver.quit();
            }
            if (proxy != null) {
                proxy.endHar();
                proxy.stop();
            }
        }
    }
}

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>4.7.0</version> <!-- 推荐使用最新稳定版本 -->
</dependency>

import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v120.network.Network; // 根据Selenium版本调整vXXX
import org.openqa.selenium.devtools.v120.network.model.RequestWillBeSent; // 根据Selenium版本调整vXXX

import java.util.Optional;
import java.util.concurrent.TimeUnit;

public class DevToolsNetworkInterceptor {

    public static void main(String[] args) throws InterruptedException {
        // 1. 初始化ChromeDriver
        // 确保ChromeDriver与您的Chrome浏览器版本兼容
        // System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver"); 
        // 或者使用WebDriverManager自动管理驱动
        // WebDriverManager.chromedriver().setup();

        ChromeOptions options = new ChromeOptions();
        // options.addArguments("--headless"); // 如果需要无头模式，可以添加此参数
        ChromeDriver driver = new ChromeDriver(options);

        // 2. 获取DevTools实例并创建会话
        DevTools devTools = driver.getDevTools();
        devTools.createSession();

        // 3. 启用Network域
        // Optional.empty() 表示不设置额外的参数，如最大请求体大小、最大响应体大小等
        devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));

        // 4. 添加监听器，捕获请求发送事件
        devTools.addListener(Network.requestWillBeSent(), request -> {
            System.out.println("--------------------------------------------------");
            System.out.println("Request URL: " + request.getRequest().getUrl());
            System.out.println("Request Method: " + request.getRequest().getMethod());
            System.out.println("Request Headers: " + request.getRequest().getHeaders().toJson());
            System.out.println("--------------------------------------------------");
        });

        // （可选）添加监听器，捕获响应接收事件
        devTools.addListener(Network.responseReceived(), response -> {
            System.out.println("Response URL: " + response.getResponse().getUrl());
            System.out.println("Response Status: " + response.getResponse().getStatus());
            System.out.println("Response Headers: " + response.getResponse().getHeaders().toJson());
        });

        // 5. 导航到目标URL
        driver.get("https://www.google.com");

        // 6. 等待一段时间，确保网络请求有足够时间被捕获和处理
        // 在实际应用中，应使用WebDriverWait等显式等待机制，而不是Thread.sleep
        TimeUnit.SECONDS.sleep(10); 

        // 7. 关闭浏览器和DevTools会话
        devTools.close();
        driver.quit();
    }
}