JavaScript 中实现 API 分页获取全部数据：异步循环与数据聚合策略

/**
 * 异步函数，用于从分页 API 获取所有数据。
 * @returns {Promise<Array>} 包含所有聚合数据的 Promise。
 */
const getAllDataFromPaginatedAPI = async () => {
    let allData = []; // 用于存储所有获取到的数据
    let currentPage = 0; // 初始页码，通常从 0 或 1 开始，取决于 API 设计
    const pageSize = 100; // 每页数据量，根据 API 限制调整 (例如 Indeed API 可能是 50)
    let hasMoreData = true; // 标志位，控制循环是否继续

    console.log("开始从 API 获取数据...");

    // 使用 for 循环进行分页请求，直到没有更多数据
    // 循环条件 `hasMoreData` 确保在数据全部获取完毕或发生错误时终止
    for (currentPage = 0; hasMoreData; currentPage++) {
        try {
            // 构建 API 请求 URL
            // 注意：Indeed API 可能使用 'start' 和 'limit'，这里使用 'page' 和 'size' 作为通用示例
            const apiUrl = `https://api.instantwebtools.net/v1/passenger?page=${currentPage}&size=${pageSize}`;
            console.log(`请求第 ${currentPage + 1} 页数据... URL: ${apiUrl}`);

            // 发送 API 请求并等待响应
            const response = await fetch(apiUrl);

            // 检查响应是否成功 (HTTP 状态码 200-299)
            if (!response.ok) {
                throw new Error(`API 请求失败，状态码: ${response.status} - ${response.statusText}`);
            }

            // 解析 JSON 响应
            const responseJson = await response.json();

            // 检查 API 响应结构，获取实际数据和总数信息
            // 假设 API 响应包含 'data' 数组和 'totalPassengers' 总数
            const currentBatchData = responseJson.data || [];
            const totalAvailableItems = responseJson.totalPassengers; // API 提供的总数据量

            // 将当前批次的数据添加到总数据集中
            allData = allData.concat(currentBatchData);
            console.log(`已获取 ${currentBatchData.length} 条数据。当前总数: ${allData.length}`);

            // 判断是否已获取所有数据或没有更多数据
            // 终止条件：
            // 1. 如果当前批次返回的数据量小于请求的 pageSize，通常表示这是最后一页数据。
            // 2. 如果 API 提供了总数据量 (`totalAvailableItems`)，并且已获取的数据量 (`allData.length`)
            //    达到或超过总数，则表示已经获取了所有已知数据。
            if (currentBatchData.length < pageSize || (totalAvailableItems && allData.length >= totalAvailableItems)) {
                hasMoreData = false;
                console.log("所有数据已获取完毕或没有更多数据。");
            }

        } catch (error) {
            console.error(`获取数据时发生错误: ${error.message}`);
            hasMoreData = false; // 发生错误时终止循环，防止无限重试
        }
    }

    console.log(`最终获取到 ${allData.length} 条数据。`);
    return allData;
};

// 调用函数并处理结果
getAllDataFromPaginatedAPI()
    .then(data => {
        console.log("所有乘客数据:", data);
        // 在这里可以对获取到的所有数据进行进一步处理，例如显示、存储等
    })
    .catch(error => {
        console.error("获取数据过程中出现未捕获的错误:", error);
    });