解决OpenSearch中新增字段Terms查询无结果的策略

在OpenSearch中，当对动态新增的字段使用`terms`查询时，可能因为字段的默认动态映射（生成`text`和`keyword`类型）导致查询无结果。本文将深入解析这一机制，并提供两种有效的解决方案：一是利用`.keyword`后缀对未分析的字段进行精确匹配；二是理解`text`字段的分析过程，并查询其分析后的形式，从而确保`terms`查询能够成功检索到数据。

OpenSearch动态映射与字段类型解析

OpenSearch（或Elasticsearch）在索引文档时，如果遇到一个之前未在映射中声明的字段，它会根据字段内容的启发式判断自动生成一个映射。对于字符串类型的数据，默认情况下通常会生成两种子字段：

• text 类型字段：用于全文搜索。这类字段会经过分析器（analyzer）处理，例如分词、大小写转换、词干提取等。这意味着原始字符串“William”可能会被分析为“william”。
• keyword 类型字段：用于精确匹配、排序和聚合。这类字段不会被分析器处理，会原样存储。因此，原始字符串“William”仍将以“William”的形式存在。

当我们在一个新添加的字段上执行terms查询时，如果直接查询的是默认生成的text类型字段，而查询词与字段的分析后形式不匹配，或者期望的是精确匹配而text字段已被分析，就会出现查询不到结果的情况。

Terms查询的工作原理

terms查询是一个精确匹配查询，它要求查询的值与索引中字段的实际值（或分析后的词元）完全一致。它不执行任何分析，而是直接查找匹配的词元。因此，理解被查询字段的类型及其是否经过分析对于terms查询至关重要。

例如，如果一个字段被映射为text类型，并且其内容“William”经过默认分析器处理后变成了“william”，那么使用terms查询“William”将无法找到结果，而使用“william”则可能找到。相反，如果字段是keyword类型，其内容“William”未被分析，那么使用terms查询“William”才能找到结果。

解决方案一：利用.keyword后缀进行精确匹配

最直接且推荐的方法是利用OpenSearch为text字段自动创建的keyword子字段。通过在字段名后加上.keyword后缀，可以直接查询未经过分析器处理的原始字符串值，从而实现精确匹配。

示例代码：

假设您有一个名为lastname的字段，它在动态映射后同时拥有lastname（text类型）和lastname.keyword（keyword类型）。要精确查询值为“William”的文档，应使用lastname.keyword：

蓝心千询

蓝心千询是vivo推出的一个多功能AI智能助手

34

查看详情

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname.keyword": [
              "William"
            ]
          }
        }
      ]
    }
  }
}

这种方法适用于需要区分大小写或包含特殊字符等精确匹配场景。

解决方案二：匹配text字段的分析后形式

如果您坚持查询text类型的字段（即不带.keyword后缀的字段），那么您需要确保terms查询中的值与该字段经过分析器处理后的词元完全匹配。OpenSearch的默认分析器通常会执行小写转换。

示例代码：

如果lastname字段是text类型，并且其默认分析器将“William”转换为小写“william”，那么您的查询词也必须是小写：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname": [
              "william"
            ]
          }
        }
      ]
    }
  }
}

注意事项：

• 这种方法依赖于对OpenSearch默认分析器行为的理解。不同的语言或自定义分析器可能会有不同的处理规则。
• 对于需要精确匹配的场景，直接查询text字段并依赖其分析后的形式通常不是最佳实践，因为它可能导致意外的行为或难以预测的结果。.keyword字段提供了更稳定和可靠的精确匹配能力。

最佳实践与总结

为了避免在使用terms查询时遇到新增字段无结果的问题，以下是几点建议和最佳实践：

1. 明确映射：对于任何需要进行精确匹配、聚合或排序的字段，强烈建议在创建索引时就明确地将其映射为keyword类型，而不是依赖动态映射。这能提供更强的控制力，并避免因默认分析器行为导致的问题。

   PUT my_index
   {
     "mappings": {
       "properties": {
         "name": { "type": "text" },
         "lastname": { "type": "keyword" } 
       }
     }
   }

   登录后复制
2. 理解字段类型：深入理解text和keyword字段的区别是高效使用OpenSearch的关键。text字段适用于全文检索（例如使用match或match_phrase查询），而keyword字段适用于精确匹配（term、terms查询）、聚合和排序。
3. 调试查询：如果查询仍然没有返回预期结果，可以使用OpenSearch的_analyze API来查看特定字段的分析器是如何处理您的数据和查询词的，这有助于诊断问题。

   GET _analyze
   {
     "analyzer": "standard", 
     "text": "William"
   }

   登录后复制

通过遵循上述解决方案和最佳实践，您可以有效地解决OpenSearch中新增字段terms查询无结果的问题，并更好地利用OpenSearch的强大查询能力。

以上就是解决OpenSearch中新增字段Terms查询无结果的策略的详细内容，更多请关注php中文网其它相关文章！