本文旨在解决opensearch中新增字段查询无结果的问题。核心原因在于opensearch的动态映射机制，它会自动为新字段创建`text`和`keyword`两种类型。当使用`terms`查询时，需要理解这两种类型的行为差异：`text`字段会经过分词处理，而`keyword`字段则保持原样。文章将详细介绍如何通过使用`.keyword`后缀或根据分词结果调整查询词来正确检索数据，并强调显式映射的重要性。
OpenSearch动态映射与查询机制解析
在使用OpenSearch（或Elasticsearch）时，开发者可能会遇到一个常见问题：当向现有索引添加新字段并尝试查询时，即使数据已成功写入，查询结果却为空。这通常发生在没有预先定义新字段映射（mapping）的情况下。问题的根源在于OpenSearch的动态映射（Dynamic Mapping）机制以及terms查询的工作原理。
当OpenSearch接收到包含新字段的文档时，如果该字段在索引的映射中尚未定义，OpenSearch会根据字段值的类型自动推断其映射。对于字符串类型，默认行为是创建一个主字段类型为text，并同时创建一个子字段类型为keyword。
- text 类型字段：这类字段会被分析（analyzed），这意味着它们会经过分词器（tokenizer）和过滤器（filters）的处理，例如转换为小写、去除标点、词干提取等。最终存储的是分词后的词项（tokens）。
- keyword 类型字段：这类字段不会被分析（not analyzed），它们的值会作为一个整体被索引。这使得keyword字段非常适合用于精确匹配、聚合、排序等场景。
terms查询（以及term查询）设计用于查找精确匹配的词项。这意味着它不会对查询词进行分词处理，而是直接查找索引中与查询词完全相同的词项。因此，当对一个text类型字段执行terms查询时，它会尝试匹配分词后的词项，而不是原始字符串。如果查询词与分词后的词项不匹配，就无法得到结果。
解决方案：两种有效的查询策略
针对上述问题，有两种主要且有效的查询策略，它们都围绕着如何正确地与OpenSearch的动态映射和分词机制交互。
策略一：使用.keyword子字段进行精确匹配
这是最推荐且最直接的解决方案，尤其当你需要对字段值进行精确匹配时。由于OpenSearch为text字段自动创建了keyword子字段，我们可以直接查询这个未被分析的keyword子字段。
示例：
假设你有一个名为lastname的新字段，其中包含值"William"。当你尝试使用以下查询时：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname": [
"William"
]
}
}
]
}
}
}如果lastname被动态映射为text类型，上述查询将不会返回结果，因为lastname字段中的"William"可能已经被分词器处理成了"william"（小写）。
要解决这个问题，应查询lastname.keyword字段：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname.keyword": [
"William"
]
}
}
]
}
}
}通过指定lastname.keyword，terms查询将直接在未分词的原始值上进行精确匹配，从而正确检索到包含"William"的文档。
策略二：查询text字段时匹配分词后的词项
如果你确实想查询text字段，并且知道其默认的分词器行为（例如，通常会进行小写转换），那么你可以将查询词调整为分词后的形式。
示例：
继续以lastname字段为例，如果默认的分词器将"William"转换为"william"（小写），那么你的terms查询需要使用小写形式的查询词：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname": [
"William"
]
}
}
]
}
}
}注意事项：
- 这种方法要求你对OpenSearch默认的分词器行为有清晰的了解。不同的语言或自定义分词器可能会有不同的分词结果。
- 对于需要精确匹配的场景，此方法不如使用.keyword子字段可靠和推荐，因为它依赖于对分词器行为的假设。
最佳实践与总结
为了避免未来出现类似的查询问题，并确保数据的索引和检索行为符合预期，以下是一些最佳实践：
-
显式定义映射（Explicit Mapping）：在索引数据之前，尽可能为所有字段定义明确的映射。这可以让你完全控制字段的类型、是否分词、使用哪个分词器等，从而避免动态映射可能带来的不确定性。
PUT abc { "mappings": { "properties": { "name": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } } }, "lastname": { "type": "keyword" // 如果只需要精确匹配，直接定义为keyword // 或者 // "type": "text", // "fields": { // "keyword": { // "type": "keyword", // "ignore_above": 256 // } // } } } } } -
理解查询类型：
- term / terms 查询：用于精确匹配未分析的字段（如keyword类型）或已分析字段中的单个词项。
- match 查询：用于全文本搜索，它会对查询词进行分词处理，并查找分词后的词项。这通常是查询text类型字段的更合适方式。
POST abc/_search { "query": { "match": { "lastname": "William" // match查询会对"William"进行分词，然后匹配 } } }
- 重新索引数据（Reindexing）：如果一个字段最初被动态映射为不理想的类型（例如，你希望lastname始终是keyword但它被映射为text），并且已经有大量数据写入，你可能需要创建一个新索引，定义正确的映射，然后将旧索引的数据重新索引到新索引中。
通过理解OpenSearch的动态映射机制以及text和keyword字段的区别，并掌握使用.keyword子字段或匹配分词后词项的查询策略，可以有效地解决新增字段查询无结果的问题，并构建更健壮、可预测的搜索应用程序。
