概述
在mongodb中，$lookup操作符是实现集合间左外连接（left outer join）的关键。它允许我们将一个集合的文档与另一个集合的文档进行关联，并将关联结果嵌入到源文档中。然而，当源文档包含一个数组字段，且我们需要将该数组中某个元素的特定属性（而非整个元素）与$lookup的结果进行匹配并保留时，问题就变得复杂。典型的场景是，我们有一个用户（user）集合，其中包含一个inbox数组，记录了参与者（participant）的id以及参与时间（added_at）。在使用$lookup填充participant的详细信息后，我们希望每个填充后的参与者对象都能包含其对应的added_at时间。
问题场景
假设我们有一个User集合，其文档结构如下：
{
"_id": ObjectId("123456789xx"),
"first_name": "Sam",
"last_name": "Jones",
"email": "sam.jones@example.com",
"inbox": [
{
"participant": ObjectId("1XXXXXXXXX"),
"added_at": "12:00:00 09/21/2021"
},
{
"participant": ObjectId("2XXXXXXXXX"),
"added_at": "12:00:00 11/21/2022"
}
]
}我们的目标是使用$lookup来填充inbox数组中participant字段的详细信息（如first_name、last_name），同时，希望每个填充后的participant对象也能包含其原始对应的added_at字段。
最初的$lookup尝试可能如下：
{
from: "Users", // 假设Users集合也包含participant的详细信息
localField: "inbox.participant",
foreignField:"_id",
as: "participants",
pipeline:[
{ $project: {first_name:1, last_name:1, _id: 1}}
]
}这会得到类似如下的结果，其中participants数组只包含关联到的用户基本信息，而丢失了inbox中每个参与者对应的added_at字段：
{
"_id": ObjectId("123456789xx"),
"first_name": "Sam",
"last_name": "Jones",
"email": "sam.jones@example.com",
"inbox": [...], // 原始inbox数组
"participants": [
{ "_id": ObjectId("1xxxxx"), "first_name": "John", "last_name":"Doe"},
{ "_id": ObjectId("2xxxxx"), "first_name": "Jack", "last_name": "Smith"}
]
}解决方案：结合 $set 和数组操作符
为了在$lookup结果中保留原始的added_at字段，我们需要在$lookup之后添加一个$set阶段，对participants数组进行后处理。这个后处理步骤将遍历participants数组，为每个参与者对象找到其在原始inbox数组中对应的added_at值，并将其合并到参与者对象中。
完整的聚合管道如下：
db.Users.aggregate([
{
// 第一步：执行 $lookup 操作，关联并获取参与者基本信息
$lookup: {
from: "Users", // 假设参与者信息也在Users集合中
localField: "inbox.participant", // 源文档inbox数组中的participant字段
foreignField: "_id", // 目标集合的_id字段
as: "participants", // 关联结果的输出字段名
pipeline: [
{ $project: {first_name: 1, last_name: 1, _id: 1}} // 仅投影所需字段
]
}
},
{
// 第二步：使用 $set 阶段修改 participants 数组
$set: {
participants: {
// 使用 $map 遍历 participants 数组中的每个元素
$map: {
input: "$participants", // 待遍历的数组
as: "participant", // 遍历时当前元素的别名
in: {
// 使用 $mergeObjects 将当前参与者对象与 added_at 字段合并
$mergeObjects: [
"$$participant", // 当前参与者对象
{
// 查找对应的 added_at 值
added_at: {
// 使用 $arrayElemAt 获取指定索引处的元素
$arrayElemAt: [
"$inbox.added_at", // 从原始 inbox.added_at 数组中取值
{
// 使用 $indexOfArray 查找当前 participant 的 _id 在 inbox.participant 数组中的索引
$indexOfArray: ["$inbox.participant", "$$participant._id"]
}
]
}
}
]
}
}
}
}
}
])解释步骤：
-
$lookup 阶段：
- 此阶段首先执行标准的左外连接，将User文档的inbox.participant字段与Users集合的_id字段进行匹配。
- pipeline子句用于在连接时对匹配到的文档进行预处理，这里我们只保留了_id、first_name和last_name。
- 结果存储在名为participants的新数组字段中。
-
$set 阶段：
- 此阶段用于创建一个新的participants字段，其值是通过对现有participants数组进行转换得到的。
-
$map 操作符：它用于遍历$lookup生成的participants数组中的每一个对象。
- input: "$participants"：指定要迭代的数组。
- as: "participant"：定义一个变量$$participant，代表当前迭代到的数组元素。
- in: {...}：定义对每个元素执行的操作。
-
$mergeObjects 操作符：它用于将多个文档合并成一个文档。
- "$$participant"：表示当前迭代到的原始参与者对象（例如{ _id: "1xxxxx", first_name: "John", last_name:"Doe"}）。
- 第二个参数是一个新创建的对象{ added_at: ... }，其中包含我们希望添加的added_at字段。
-
added_at 值的获取：这是整个解决方案的关键。
- $indexOfArray: ["$inbox.participant", "$$participant._id"]：这个表达式首先在原始文档的inbox.participant数组中查找当前$$participant._id的索引位置。这假设inbox.participant数组和inbox.added_at数组是并行且顺序对应的。
- $arrayElemAt: ["$inbox.added_at", index]：一旦获取到正确的索引，$arrayElemAt就从原始文档的inbox.added_at数组中取出该索引位置的added_at值。
预期输出
经过上述聚合管道处理后，最终的文档结构将包含带有added_at字段的participants数组，满足了原始需求：
{
"_id": ObjectId("123456789xx"),
"first_name": "Sam",
"last_name": "Jones",
"email": "sam.jones@example.com",
"inbox": [...], // 原始inbox数组
"participants": [
{ "_id": ObjectId("1xxxxx"), "first_name": "John", "last_name":"Doe", "added_at": "12:00:00 09/21/2021"},
{ "_id": ObjectId("2xxxxx"), "first_name": "Jack", "last_name": "Smith", "added_at": "12:00:00 11/21/2022"}
]
}注意事项
- 数组并行性：此解决方案依赖于inbox.participant数组和inbox.added_at数组在索引上的严格对应关系。如果这两个数组的元素顺序不一致或数量不匹配，那么$indexOfArray和$arrayElemAt的组合可能无法正确匹配数据。
- 性能考量：对于非常大的inbox数组，$map和内部的数组操作可能会有性能开销。在大多数实际应用中，inbox数组通常不会非常庞大，因此这种方法是高效且可行的。
- 数据模型优化：在某些情况下，如果added_at是participant的固有属性，并且participant本身就是一个文档，那么在设计数据模型时，可以直接将added_at嵌入到inbox数组的participant子文档中，从而简化查询。但对于已有的数据模型，上述聚合方法提供了一个灵活的解决方案。
总结
通过巧妙地结合$lookup的管道功能与后续的$set阶段，并利用$map、$mergeObjects、$indexOfArray和$arrayElemAt等强大的数组操作符，我们能够在MongoDB中实现复杂的文档转换和数据关联。这种方法不仅解决了将本地数组字段与关联数据合并的问题，也展示了MongoDB聚合框架在处理复杂数据转换方面的强大能力和灵活性。掌握这些技巧对于构建高效且功能丰富的MongoDB应用至关重要。
