Elasticsearch 无法使用字母数字混合搜索的问题解决
本文针对 Elasticsearch 中字母数字混合编码搜索失效的问题，提供了一种解决方案。当使用特定analyzer处理文本时，可能会导致数字被移除，从而影响搜索结果。本文将介绍如何通过选择合适的 tokenizer (如 edge-ngram 或 standard analyzer) 来解决这个问题，确保字母数字混合编码能够被正确索引和搜索。
在使用 Elasticsearch 进行全文搜索时，有时会遇到字母数字混合编码无法正确搜索的问题。例如，索引中存在 "AA111"、"111AA" 这样的数据，但使用 "111" 进行搜索时却无法返回结果。这通常是由于使用了不合适的 analyzer 导致的。
问题分析
Elasticsearch 使用 analyzer 将文本分解为 token，然后对这些 token 进行索引。analyzer 由一个 tokenizer 和零个或多个 token filter 组成。tokenizer 负责将文本分解成单个的 token，而 token filter 则负责对这些 token 进行处理，例如去除停用词、转换为小写等。
某些 analyzer，例如 simple analyzer，会移除文本中的数字。如果 default 字段使用了这样的 analyzer，那么 "AA111" 中的 "111" 在索引时就会被移除，导致无法通过 "111" 进行搜索。
解决方案
要解决这个问题，需要选择一个不会移除数字的 tokenizer。以下是两种常用的解决方案：
-
使用 standard analyzer:
standard analyzer 是 Elasticsearch 默认的 analyzer，它使用 standard tokenizer。standard tokenizer 不会移除数字，因此可以用于索引字母数字混合编码。
"default" : { "type" : "text", "analyzer" : "standard" }或者，如果需要更精细的控制，可以自定义 analyzer：
"settings": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer": "standard", "filter": [ "lowercase" // 可选：将文本转换为小写 ] } } } }, "mappings": { "properties": { "default": { "type": "text", "analyzer": "my_analyzer" } } } -
使用 edge-ngram tokenizer:
edge-ngram tokenizer 可以将文本分解为从字符串开头开始的 n-gram。例如，对于 "AA111"，如果使用 edge-ngram tokenizer，它可以生成 "A"、"AA"、"AA1"、"AA11"、"AA111" 这样的 token。这样就可以通过搜索 "111" 来找到 "AA111"。
"settings": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer": "my_edge_ngram_tokenizer" } }, "tokenizer": { "my_edge_ngram_tokenizer": { "type": "edge_ngram", "min_gram": 1, "max_gram": 10, "token_chars": [ "letter", "digit" ] } } } }, "mappings": { "properties": { "default": { "type": "text", "analyzer": "my_analyzer" } } }min_gram 和 max_gram 控制了 n-gram 的最小和最大长度。token_chars 指定了哪些字符应该被包含在 token 中。在这个例子中，我们指定了 "letter" 和 "digit"，因此字母和数字都会被包含在 token 中。
注意事项
- 在更改 analyzer 后，需要重新索引数据才能生效。
- edge-ngram tokenizer 会生成大量的 token，可能会增加索引的大小和搜索的开销。因此，需要根据实际情况选择合适的 min_gram 和 max_gram。
- 如果需要进行大小写不敏感的搜索，可以添加 lowercase token filter。
总结
当 Elasticsearch 无法使用字母数字混合搜索时，通常是由于使用了不合适的 analyzer 导致的。通过选择合适的 tokenizer (如 standard 或 edge-ngram)，可以解决这个问题。在选择 tokenizer 时，需要根据实际情况权衡索引的大小、搜索的开销和搜索的精度。
