JavaScript中实现API分页：高效循环获取全部数据的教程

async function fetchAllPaginatedData(baseUrl, itemsPerPage = 50) {
    let allData = []; // 用于存储所有获取到的数据
    let totalItems = 0; // API报告的总数据量
    let loopNeeded = true; // 控制循环是否继续的标志

    console.log(`开始从 ${baseUrl} 获取所有分页数据...`);

    // 使用 for 循环进行迭代，直到所有数据获取完毕
    // 变量 i 可以代表页码 (page) 或偏移量的倍数 (start/offset)
    for (let i = 0; loopNeeded; i++) {
        // 构建当前页的URL。
        // 如果API使用 'page' 和 'size' 参数，URL可能形如: `${baseUrl}?page=${i}&size=${itemsPerPage}`
        // 如果是 Indeed API 等使用 'start' 和 'limit' 参数，URL则形如:
        const url = `${baseUrl}?start=${i * itemsPerPage}&limit=${itemsPerPage}`;
        console.log(`正在请求: ${url}`);

        try {
            const response = await fetch(url);
            if (!response.ok) {
                throw new Error(`HTTP 错误! 状态: ${response.status}`);
            }
            const data = await response.json();

            // 假设API响应结构为 { data: [...], totalItems: N }
            // 请根据实际API响应调整这里的数据提取逻辑
            const currentBatch = data.data || []; // 当前页的数据
            // 首次请求或当API每次都返回总数时更新 totalItems
            totalItems = data.totalItems !== undefined ? data.totalItems : totalItems; 

            allData = allData.concat(currentBatch); // 将当前页数据添加到总数据列表中

            console.log(`已获取 ${allData.length} / ${totalItems} 条数据。`);

            // 判断是否已获取所有数据
            // 1. 已获取的数据量达到或超过API报告的总数据量
            // 2. 当前批次为空，意味着没有更多数据可获取了（即使totalItems不准确也能停止）
            if (allData.length >= totalItems || currentBatch.length === 0) {
                loopNeeded = false; // 停止循环
            }
        } catch (error) {
            console.error(`获取数据时发生错误: ${error}`);
            loopNeeded = false; // 发生错误时停止循环
        }
    }

    console.log(`所有数据获取完成。共获取 ${allData.length} 条数据。`);
    return allData;
}

// 示例调用 (使用一个公开的测试API，类似于问题答案中提供的)
// 注意：该示例API使用 'page' 和 'size'，因此在实际调用时需要调整 fetchAllPaginatedData 内部的URL构建逻辑
// 或者创建一个专门适配该API的包装函数。
// 为了演示，我们假设其行为与 Indeed 的 'start'/'limit' 类似，只是参数名不同。
const sampleApiBaseUrl = "https://api.instantwebtools.net/v1/passenger";
// 实际测试时，可能需要将 fetchAllPaginatedData 函数中的URL构建改为:
// const url = `${baseUrl}?page=${i}&size=${itemsPerPage}`;
fetchAllPaginatedData(sampleApiBaseUrl, 100).then(results => {
    console.log("最终获取到的乘客数据:", results);
}).catch(err => console.error("获取乘客数据失败:", err));

// Indeed API 示例 (注释掉，因为需要 Indeed API 的有效 token 和实际数据)
/*
const indeedBaseUrl = "https://resumes.indeed.com/rpc/search";
const indeedCsrfToken = "YOUR_INDEED_CSRF_TOKEN"; // 替换为你的实际 token
const indeedQuery = "sales";
const indeedLocation = "Orlando,FL";
const indeedLmd = "3day";
const indeedRadius = "25";

async function fetchIndeedData() {
    let allIndeedData = [];
    let currentStart = 0;
    const indeedLimit = 50; // Indeed API 每次请求的限制
    let totalIndeedResults = 0;
    let continueFetching = true;

    for (let i = 0; continueFetching; i++) {
        // Indeed API 使用 'start' 作为偏移量
        const indeedUrl = `${indeedBaseUrl}?q=${indeedQuery}&l=${indeedLocation}&start=${currentStart}&limit=${indeedLimit}&lmd=${indeedLmd}&radius=${indeedRadius}&indeedcsrftoken=${indeedCsrfToken}`;
        console.log(`正在请求 Indeed: ${indeedUrl}`);

        try {
            const response = await fetch(indeedUrl);
            if (!response.ok) {
                throw new Error(`Indeed API HTTP 错误! 状态: ${response.status}`);
            }
            const data = await response.json();

            // 假设 Indeed API 响应结构包含 'results' 数组和 'totalResults' 字段
            const currentIndeedBatch = data.results || [];
            totalIndeedResults = data.totalResults !== undefined ? data.totalResults : totalIndeedResults;

            allIndeedData = allIndeedData.concat(currentIndeedBatch);
            console.log(`已获取 Indeed ${allIndeedData.length} / ${totalIndeedResults} 条数据。`);

            // 更新下一个请求的起始偏移量
            currentStart += indeedLimit;

            // 终止条件：已获取的数据量达到或超过总结果数，或当前批次为空
            if (allIndeedData.length >= totalIndeedResults || currentIndeedBatch.length === 0) {
                continueFetching = false;
            }
        } catch (error) {
            console.error(`获取 Indeed 数据时发生错误: ${error}`);
            continueFetching = false;
        }
    }
    console.log(`Indeed 数据获取完成。共获取 ${allIndeedData.length} 条数据。`);
    return allIndeedData;
}

// fetchIndeedData().then(results => {
//     console.log("最终获取到的 Indeed 数据:", results);
// }).catch(err => console.error("获取 Indeed 数据失败:", err));
*/