0

0

实现一个简单的mysql带权重的中文全文搜索

php中文网

php中文网

发布时间:2016-06-13 09:29:56

|

1221人浏览过

|

来源于php中文网

原创

实现一个简单的mysql带权重的中文全文搜索自己在写一个web,希望对数据库做全文检索。但是google了解到,由于中文分词的缘故,mysql只支持英文的全文搜索,想支持中文的,需要各种插件or实现一些比较复杂的机制,而买的虚拟主机并不支持这些复杂的东西。仔细想了下,因为自己需求的功能也比较简单,主要是2个字段的搜索,且数据量不大,即便增加几个字段,需要多运行几个select也不会对速度有太大影响,所以通过一些work around实现了需求。

step 1:用locate进行简单的搜索
locate可以判断子串是否在子乱
有两个column,一个name,一个description.
所以可以用locate>0去判断是否关键字在其中出现了。
其实就是
select * from table where locate(key, 'name')>0 or locate(key, 'description);
这样,我们就简单实现了对某个key在两个域的搜索

step 2:搜索多个关键字
通常,搜索都是有多个关键字,所以我们需要对每个关键字,执行下step1的查询。(当然,也可以合成一个,这里偷懒每次只查询1个关键字)
然后,我们再将每次查询出的数组都合并,这样就得到了一个最终的集合。

php代码如下:

  1. function selectlocate($tarcols,$skey){
  2. $where ="";
  3. $connector = " ";
  4. global $count;
  5. foreach($tarcols as $tarcol ){
  6. $where .= $connector;
  7. $where .= "locate('$skey', $tarcol) != 0 ";
  8. if($connector == " "){
  9. $connector = " or ";
  10. }
  11. }

  12. $sql = "select * from pets_table where $where";
  13. $result = mysql_query($sql);
  14. $ret = array();
  15. while($item = mysql_fetch_array($result, mysql_assoc)){
  16. $count ++;
  17. $ret[] = $item;
  18. }
  19. return $ret;
  20. }
step 3:匹配的权重
上面step2的结果,其实是无序的。通常,如果我们搜索一个字段:
1.如果这个字段和关键字完全相同,那么一般来讲,可能这个结果应该是相关度最高的
2.如果他只是其其中出现了一次,相关度就最低。
3.如果他出现的次数比在其他row中出现的次数高,那么他的相关度就比2中的结果高
所以,搜索的时候依据这个顺序考虑权重,
a.如果完全相等,权重为1000
b.如果出现1次,权重为10,出现n次
c.权重为n*10
每次搜索出来的结果附加上权重----》然后合并相同项----》并把权重累加
最后按权重排序,即可得到一个有排序的搜索结果。

以下是两种1关键字对应1个字段(上面的代码是1关键字多个字段)查询的代码(不包含合并两个数组的代码,相关的代码在step4中),只需遍历每个关键字和字段,就能完成搜索

  1. $count = 0;
  2. function selectequal($col,$skey){
  3. $connector = " ";
  4. global $count;
  5. $sql = "select * from pets_table where lower($col)=lower('$skey')";
  6. $result = mysql_query($sql);
  7. $ret = array();
  8. while($item = mysql_fetch_array($result, mysql_assoc)){
  9. $count ++;
  10. $item["weight"] = 1000;
  11. $ret[] = $item;
  12. }
  13. return $ret;
  14. }
  15. function selectlocate($col,$skey){
  16. global $count;
  17. $sql = "select *,(length(description) - length(replace(description, '$skey', '')))/length('$skey') *10 as weight from pets_table where locate(lower('$skey'),lower($col))>0";
  18. $result = mysql_query($sql);
  19. $ret = array();
  20. while($item = mysql_fetch_array($result, mysql_assoc)){
  21. $count ++;
  22. $ret[] = $item;
  23. }
  24. return $ret;
  25. }



step 4: 字段的权重
在我的需求中,显然name这个字段比description更重要,所以在匹配时,对name字段的结果应该有所倾斜,所以,又可以增加一个对字段的权重系数。

1.如果是在name域的匹配,设系数为10;
2.如果是在description匹配,设系数为1;

将step 3每次计算得出的权重,再乘上这个系数,就可以得到一个新的,更有效的权重值。
最后按权重排序,即可得到一个最有相关度排序的搜索结果

其他的细节:
如果一个关键字已经满足了equal条件,那么再使用locate条件的时候会依然返回一个结果,所以在使用locate条件的时候,过滤掉equal的情况

  1. $count = 0;
  2. function selectequal($col,$val,$skey){
  3. $connector = " ";
  4. global $count;
  5. $sql = "select * from pets_table where lower($col)=lower('$skey')";
  6. $result = mysql_query($sql);
  7. $ret = array();
  8. while($item = mysql_fetch_array($result, mysql_assoc)){
  9. $count ++;
  10. $item["weight"] = 1000*$val;
  11. $ret[] = $item;
  12. }
  13. return $ret;
  14. }
  15. function selectlocate($col,$val,$skey){
  16. global $count;
  17. $sql = "select *,(length(description) - length(replace(description, '$skey', '')))/length('$skey') *10*$val as weight from pets_table where locate(lower('$skey'),lower($col))>0 and lower($col)!=lower('$skey')";
  18. $result = mysql_query($sql);
  19. $ret = array();
  20. while($item = mysql_fetch_array($result, mysql_assoc)){
  21. $count ++;
  22. $ret[] = $item;
  23. }
  24. return $ret;
  25. }
  26. function cleanarr($arr){
  27. global $count;
  28. $tmp = array();
  29. $tmpall = array();
  30. foreach($arr as $item){
  31. if(array_key_exists($item['uid'], $tmp)){
  32. $tmp[$item['uid']]+=$item["weight"];
  33. }
  34. else{
  35. $tmp[$item['uid']] = $item["weight"];
  36. $tmpall[$item['uid']] = $item;
  37. }
  38. }

  39. //sort by weight in descending order
  40. arsort($tmp);

  41. $ret = array();

  42. //rebuildthe return arary
  43. $count = 0;
  44. foreach($tmp as $k=>$v){
  45. $count++;
  46. $tmpall[$k]['weight']=$v;
  47. $ret[]=$tmpall[$k];
  48. }
  49. return $ret;
  50. }

  51. require_once("consvr.php");


  52. $colshash = array("name"=>10,"description"=>1);
  53. $ret = array();
  54. $keywords=explode(" ", $keywords);
  55. $cols = array_keys($colshash);
  56. foreach($keywords as $keyword){
  57. foreach($colshash as $col=>$val){
  58. $ret = array_merge($ret,selectequal($col,$val, $keyword));
  59. $ret = array_merge($ret,selectlocate($col,$val, $keyword));
  60. }

  61. }
  62. $ret = cleanarr($ret);
  63. $ret = array('msg' => "success", 'count'=>$count,'children' => $ret, 'query'=>"complex:not readable");
  64. echo json_encode($ret);
  65. mysql_close();

  66. ?>











相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

43

2026.01.16

全民K歌得高分教程大全
全民K歌得高分教程大全

本专题整合了全民K歌得高分技巧汇总,阅读专题下面的文章了解更多详细内容。

84

2026.01.16

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

24

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

35

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

16

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

56

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

16

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

9

2026.01.15

ppt一键生成相关合集
ppt一键生成相关合集

本专题整合了ppt一键生成相关教程汇总,阅读专题下面的的文章了解更多详细内容。

26

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 12.1万人学习

Java 教程
Java 教程

共578课时 | 46.8万人学习

Uniapp从零开始实现新闻资讯应用
Uniapp从零开始实现新闻资讯应用

共64课时 | 6.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号