## 一千万条数据！如何让 MySQL 模糊搜索快如闪电？-java教程-PHP中文网

## 一千万条数据！如何让 MySQL 模糊搜索快如闪电？

霞舞

发布： 2024-10-26 09:18:02

原创

1170人浏览过

## 一千万条数据！如何让 mysql 模糊搜索快如闪电？

如何在一千万条数据量中快速实现 mysql 模糊搜索

问题描述：

需要在包含一千万条数据的 mysql 数据库中进行模糊查询，但由于索引限制，查询十分缓慢，耗时约 10 秒。目前已尝试了多种方法，但效果不理想。

解决方案：

虽然模糊搜索通常无法走索引，但我们可以创建一种定制索引，以帮助加速搜索过程。

定制索引：

创建一个名为 "索引表" 的表，其中存储以下信息：

当前词
下一词
原始记录的主键 id

例如，对于关键词 "模糊搜索"，索引表如下：

| 当前词 | 下一词 | 原始记录主键 id |
|---|---|---|
| 模糊 | 一 | 1 |
| 一 | 千 | 1 |
| 千 | 万 | 1 |
| 万 | 的 | 1 |
| ... | ... | ... |
| 模糊 | 搜 | 1 |
| 搜 | 索 | 1 |
| 索 | null | 1 |

登录后复制

搜索算法：

根据我们创建的定制索引，我们可以实现以下搜索算法：

将查询关键词拆分为空格分隔的术语。
对于每个术语，查找索引表中当前词与该术语相匹配的记录。
将这些记录的原始记录主键 id 存储到一个数组中。
重复步骤 2 和 3，直到查询中所有术语都被处理。
查找数组中所有原始记录主键 id 的交集。这些就是包含所有查询术语的记录。

示例查询：

要搜索 "模糊搜索"，我们可以运行以下查询：

SELECT 原记录主键ID
FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模糊' AND 下一词 = '一')
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '一' AND 下一词 = '千') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '千' AND 下一词 = '万') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '万' AND 下一词 IS NULL) USING(原记录主键ID)

登录后复制

性能优化：