OpenSearch新增字段查询无结果：动态映射与terms查询深度解析与实践

在使用opensearch（或elasticsearch）时，用户可能会遇到新增字段无法通过`terms`查询检索到结果的问题。这通常是由于opensearch的动态映射机制，为未声明的新字段自动创建了`text`和`keyword`两种类型。`terms`查询需要精确匹配，因此需要针对性地使用`.keyword`子字段或匹配`text`字段的分析后结果。

OpenSearch动态映射机制概述

当您向OpenSearch索引中写入包含新字段的文档，而该字段在索引映射（mapping）中未预先定义时，OpenSearch会利用其动态映射功能自动推断字段类型并创建相应的映射。对于字符串类型的新字段，OpenSearch通常会默认创建两种子字段：

1. 主字段（text类型）: 用于全文搜索，会经过分词器（analyzer）处理，例如转换为小写、去除标点、词干提取等。
2. .keyword子字段（keyword类型）: 用于精确匹配、聚合和排序，不会经过分词器处理，存储原始的完整字符串。

这种机制虽然方便，但如果不了解其工作原理，在查询时可能会导致混淆。当您查询一个在索引创建后才新增的字段（例如 lastname），如果该字段是字符串类型，OpenSearch会默认将其映射为 text 类型，并同时创建一个 lastname.keyword 的 keyword 子字段。最初的查询失败，正是因为您可能尝试用精确匹配的terms查询去匹配一个已被分析的text字段，或者查询条件与keyword字段的值不完全匹配。

terms查询与字段类型的交互

terms查询是一种精确匹配查询，它要求查询条件与索引中存储的词项（term）完全一致。

• text字段: 由于text字段经过分析器处理，原始字符串 "William" 可能会被转换为小写词项 "william" 存储。如果您直接用 "William" 去查询text字段，可能无法匹配。
• keyword字段: keyword字段存储的是未经分析的原始字符串。因此，查询 "William" 才能精确匹配到 "William"。

解决方案

针对此问题，主要有两种有效的查询策略。

方案一：利用.keyword子字段进行精确匹配（推荐）

这是最常见且推荐的解决方案，尤其当您需要精确匹配原始字符串时。terms查询非常适合与keyword类型的字段配合使用。

示例代码：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname.keyword": [
              "William"
            ]
          }
        }
      ]
    }
  }
}

通过指定 lastname.keyword，您确保了查询是针对未经过分析的原始字符串进行的，从而能够精确检索到包含 "William" 的文档。

蓝心千询

蓝心千询是vivo推出的一个多功能AI智能助手

34

查看详情

方案二：匹配text字段的分析后结果

如果您确实需要查询text字段，并且知道其默认分析器会将字符串转换为小写，那么您需要将查询条件也转换为分析后的形式（例如小写）。

示例代码：

POST abc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "lastname": [
              "william"
            ]
          }
        }
      ]
    }
  }
}

注意事项： 这种方法要求您清楚了解字段所使用的分析器以及其对数据的影响。如果分析器更复杂（例如包含词干提取、同义词处理等），那么手动构造分析后的查询词项会变得困难且容易出错。因此，除非有特殊需求，否则不建议在terms查询中直接使用text字段。

注意事项与最佳实践

1. 显式定义映射（Explicit Mapping）: 为了避免动态映射带来的潜在问题和查询不确定性，强烈建议在创建索引时就显式定义好所有字段的映射。这不仅能提高查询效率，还能确保数据类型和分析行为符合预期。

   PUT abc
   {
     "mappings": {
       "properties": {
         "name": {
           "type": "keyword"
         },
         "lastname": {
           "type": "keyword"
           // 如果需要全文搜索，可以添加一个text类型：
           // "fields": {
           //   "text": {
           //     "type": "text"
           //   }
           // }
         }
       }
     }
   }

   登录后复制
2. 理解查询类型:
   • term / terms 查询：适用于精确匹配，通常用于keyword字段。
   • match 查询：适用于全文搜索，会自动对查询词进行分析，并与text字段的分析结果匹配。
   • match_phrase 查询：适用于短语搜索，也会对查询词进行分析，并要求词项按顺序紧密出现。
3. 使用_analyze API进行调试: 当不确定一个字符串如何被分析器处理时，可以使用_analyze API来查看其产生的词项。这对于调试text字段的查询非常有帮助。

   GET _analyze
   {
     "analyzer": "standard", // 或者您字段使用的具体分析器
     "text": "William"
   }

   登录后复制

   这将返回 {"tokens": [{"token": "william", ...}]}，表明 "William" 被分析成了 "william"。

总结

当在OpenSearch中查询新增字段遇到无结果问题时，核心原因在于对OpenSearch动态映射机制以及text与keyword字段差异的理解不足。解决之道在于：对于精确匹配需求，始终优先使用lastname.keyword这样的keyword子字段；如果必须查询text字段，则需确保查询词与字段分析后的词项完全一致。最佳实践是预先定义明确的索引映射，以避免此类问题，并根据不同的搜索需求选择合适的查询类型。

以上就是OpenSearch新增字段查询无结果：动态映射与terms查询深度解析与实践的详细内容，更多请关注php中文网其它相关文章！