Puppeteer 自动化：捕获动态按钮触发的网络请求URL

const puppeteer = require("puppeteer");

let browser;
(async () => {
  browser = await puppeteer.launch();
  const [page] = await browser.pages();
  const url = "https://data.ademe.fr/datasets/liste-des-entreprises-rge-2"; // 目标页面URL
  await page.goto(url, { waitUntil: "domcontentloaded" }); // 等待DOM内容加载完成
  // ... 后续操作
})()
  .catch(err => console.error(err))
  .finally(() => browser?.close());

// ... (接上文代码)

// 假设有一个初始按钮用于展开下载选项，例如“Téléchargement des données”
const initialBtn = await page.waitForSelector('[aria-label="Téléchargement des données"]');
if (initialBtn) {
  await initialBtn.click();
}

// ... (接下文代码)

// ... (接上文代码)

// 设置请求监听器，等待符合条件的网络请求
const [request] = await Promise.all([
  page.waitForRequest(req =>
    // 匹配以 .csv 结尾的URL，或者包含特定API路径的URL
    req.url().endsWith(".csv") ||
    req.url().includes("data.ademe.fr/data-fair/api/v1/datasets/liste-des-entreprises-rge-2")
  ),
  // 点击“Export CSV”按钮，触发下载请求
  (await page.waitForSelector('[aria-label="Export CSV"]')).click()
]);

// 获取捕获到的请求URL
console.log("捕获到的下载URL:", request.url());

// ... (后续操作，如下载文件)

const puppeteer = require("puppeteer"); // ^19.7.5 或更高版本

let browser;
(async () => {
  browser = await puppeteer.launch();
  const [page] = await browser.pages();
  const url = "https://data.ademe.fr/datasets/liste-des-entreprises-rge-2"; // 目标页面URL

  try {
    await page.goto(url, { waitUntil: "domcontentloaded" });

    // 步骤1: 尝试点击第一个按钮，通常用于展开下载选项或弹窗
    const initialBtn = await page.waitForSelector('[aria-label="Téléchargement des données"]', { timeout: 5000 });
    if (initialBtn) {
      console.log("点击 'Téléchargement des données' 按钮...");
      await initialBtn.click();
    } else {
      console.log("未找到 'Téléchargement des données' 按钮，可能不需要点击。");
    }

    // 步骤2: 等待并点击实际触发下载的按钮，同时监听网络请求
    console.log("准备监听网络请求并点击 'Export CSV' 按钮...");
    const [request] = await Promise.all([
      // 监听请求：匹配以 .csv 结尾的URL 或 包含特定API路径的URL
      page.waitForRequest(req =>
        req.url().endsWith(".csv") ||
        req.url().includes("data.ademe.fr/data-fair/api/v1/datasets/liste-des-entreprises-rge-2")
      ),
      // 等待并点击 'Export CSV' 按钮
      (await page.waitForSelector('[aria-label="Export CSV"]')).click()
    ]);

    // 步骤3: 获取捕获到的请求URL并打印
    const downloadUrl = request.url();
    console.log("成功捕获到下载URL:", downloadUrl);

    // 示例：此处可以调用其他函数来下载文件
    // 例如：await downloadFile(downloadUrl, 'output.csv');

  } catch (err) {
    console.error("操作过程中发生错误:", err);
  } finally {
    if (browser) {
      await browser.close();
      console.log("浏览器已关闭。");
    }
  }
})();