MongoDB聚合查询：高效统计过去两小时内插入的文档

本教程将详细介绍如何使用mongodb的聚合管道来统计在过去两小时内插入的文档数量。通过结合`$$now`、`$subtract`、`$expr`和`$group`等操作符，我们可以精确计算文档的插入时间与当前时间的毫秒差，并据此筛选和计数。文章将提供完整的示例代码和关键注意事项，帮助您灵活应对类似的时间范围查询需求。

在MongoDB中，统计特定时间窗口内（例如，过去一小时或两小时）插入的文档数量是一个常见的需求。虽然直接的SQL-like WHERE time BETWEEN X AND Y 语法不直接适用，但MongoDB强大的聚合管道（Aggregation Pipeline）提供了灵活且高效的解决方案。本文将指导您如何构建一个聚合查询来达成这一目标。

核心概念：时间戳与时间差计算

要统计过去两小时内的文档，我们需要执行以下步骤：

1. 获取当前时间。
2. 获取文档的插入时间。
3. 计算当前时间与文档插入时间之间的差值。
4. 筛选出时间差在指定范围内的文档。
5. 对筛选出的文档进行计数。

MongoDB聚合管道提供了内置变量和操作符来支持这些计算：

• $$NOW: 这是一个系统变量，表示当前服务器的UTC日期和时间。在聚合管道中，它提供了一个统一的时间基准。
• $subtract: 该操作符用于计算两个日期之间的毫秒差。例如，{"$subtract": ["$$NOW", "$lastModified"]} 将返回当前时间与lastModified字段值之间的毫秒数。
• $expr: 允许在$match阶段使用聚合表达式。这对于执行字段间的比较或涉及计算的条件非常有用。
• $lte: 小于或等于操作符，用于比较时间差是否小于或等于我们定义的两小时毫秒数。
• $multiply: 用于计算乘积，我们将用它来将小时数转换为毫秒数（小时 * 分钟 * 秒 * 毫秒）。

构建聚合管道

我们将使用两个主要的聚合阶段来完成任务：$match 和 $group。

1. $match 阶段：筛选时间范围内的文档

$match 阶段用于根据指定条件过滤文档。在这里，我们的条件是文档的插入时间（假设字段名为lastModified）与当前时间之间的差值在0到2小时（包含）之间。

为了实现这一目标，我们需要计算“两小时”对应的毫秒数： 2 小时 * 60 分钟/小时 * 60 秒/分钟 * 1000 毫秒/秒 = 7,200,000 毫秒

在$match阶段，我们使用$expr来构建一个复杂的表达式：

Calliper 文档对比神器

文档内容对比神器

28

查看详情

{
  "$match": {
    "$expr": {
      "$lte": [
        { "$subtract": ["$$NOW", "$lastModified"] }, // 计算当前时间与文档时间差（毫秒）
        { "$multiply": [2, 60, 60, 1000] }           // 计算2小时对应的毫秒数
      ]
    }
  }
}

这个表达式的含义是：如果当前时间减去文档的lastModified时间得到的毫秒数小于或等于2小时的毫秒数，则匹配该文档。这有效地筛选出了在过去两小时内（包括当前时刻）插入或修改的文档。

2. $group 阶段：计数匹配的文档

在筛选出所有符合条件的文档后，我们需要对它们进行计数。$group 阶段可以实现这一目的。通过将_id设置为null，我们可以将所有匹配的文档视为一个组，然后使用$count操作符来统计该组中的文档数量。

{
  "$group": {
    "_id": null,       // 将所有文档归为一组
    "count": { "$count": {} } // 统计该组中的文档数量
  }
}

完整的聚合管道示例代码

将上述两个阶段组合起来，就得到了完整的聚合查询：

db.yourCollection.aggregate([
  {
    "$match": {
      "$expr": {
        "$lte": [
          { "$subtract": ["$$NOW", "$lastModified"] }, // 假设文档的时间字段名为 'lastModified'
          { "$multiply": [2, 60, 60, 1000] }           // 2小时转换为毫秒
        ]
      }
    }
  },
  {
    "$group": {
      "_id": null,
      "count": { "$count": {} }
    }
  }
])

请将 yourCollection 替换为您的实际集合名称，并将 lastModified 替换为存储文档插入或更新时间的实际字段名（例如 createdAt 或 insertedAt）。

注意事项

1. 时间字段名: 示例中的 lastModified 只是一个占位符。在您的实际应用中，请确保替换为存储文档创建或修改时间的正确字段名，并且该字段的数据类型必须是MongoDB的Date类型。
2. 时间来源: $$NOW 获取的是MongoDB服务器的当前UTC时间。如果您的应用程序或用户界面需要基于客户端的本地时间进行查询，您应该在应用程序层计算好相应的UTC时间戳，并将其作为变量传入聚合查询中，而不是直接依赖$$NOW。
3. 时间差的精确性: 这种方法是基于毫秒的时间差计算。例如，如果当前是 2023-10-27 14:00:00，那么查询将匹配 2023-10-27 12:00:00 到 2023-10-27 14:00:00 之间的文档。这与“日历小时”的概念略有不同（例如，它不会自动对齐到整点）。
4. 性能优化: 对于包含大量文档的集合，为了提高查询效率，强烈建议在用于时间筛选的字段（例如 lastModified）上创建索引。

   db.yourCollection.createIndex({ lastModified: 1 })

   登录后复制
5. 灵活性: 您可以轻松修改 $multiply 表达式中的第一个参数来调整时间窗口。例如，要查询过去一小时的文档，只需将 2 更改为 1。

总结

MongoDB的聚合管道提供了一种强大且灵活的方式来处理复杂的数据分析需求，包括时间范围内的文档计数。通过理解$$NOW、$subtract、$expr和$group等操作符的协同工作，您可以构建出高效且精确的查询，以满足各种业务场景下的时间序列数据分析需求。记住在实际应用中替换占位符并考虑性能优化，以确保您的查询能够在大规模数据集上良好运行。

以上就是MongoDB聚合查询：高效统计过去两小时内插入的文档的详细内容，更多请关注php中文网其它相关文章！