讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > 后端开发 > php教程 > 正文

mysql - php根据相似度查找重复数据怎么实现？

php中文网
发布： 2016-06-06 20:10:32
原创
1389人浏览过

有一个具有几千条数据的表，数据库用的mysql，想寻找一个算法根据数据的相似度查找重复的数据，并将其罗列出来，有能提供方法或思路的兄弟们欢迎来凑，先谢过了！

回复内容：

有一个具有几千条数据的表，数据库用的mysql，想寻找一个算法根据数据的相似度查找重复的数据，并将其罗列出来，有能提供方法或思路的兄弟们欢迎来凑，先谢过了！

1.首先，题主应该选一个相似度的计算维度，比如content字段，type字段等；
2.其次，题主考虑一下各个字段的权重，比如type字段必须相同，则让type字段使用typeWeight（例如赋值0.8）作为乘积的因子，而content字段本身是比较长的，所以需要计算出一个hash值，比如使用md5计算出一个32位hash值，然后把这个hash值按照16进制计算得到10进制数，再给一个权重contentWeight（例如0.2），另外再选取一个字段，比如description描述字段，再给一个权重descriptionWeight...
3.最后得到一个当前插入到表中的记录综合hash，typeWeight(contentHashcontentWeight+descriptionHash*descriptionWeight +...),可能会涉及到大整数计算，不过PHP有BCMATH扩展可以使用，最终得到一个数值的综合hash值，保存到数据库的一个字段中，这个东西就可以理解为本条记录的特征值。

Friday AI
Friday AI

国内团队推出的智能AI写作工具

Friday AI 126
查看详情 Friday AI

看你的需求,方法还是挺多而来,比如说2个字符串的距离,如汉明距离。

相关标签：
php mysql nginx

大家都在看：

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习？PHP怎么入门？PHP在哪学？PHP怎么学才快？不用担心，这里为大家提供了PHP速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
来源：php中文网
收藏 点赞
上一篇：php框架 - php的命名空间使用是否省去了include和require的作用 下一篇：css - php 生成的word文件怎么把图片显示出来并且样式正确？
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
php怎么在ajax请求返回数组字符串_php ajax请求返回数组转json字符串方法【技巧】 PHP处理AJAX请求必须用json_encode()转数组为JSON字符串并设Content-Type头，推荐封装jsonResponse()函数统一响应，注意中文编码、空格等特殊字符处理及JSON有效性校验。
2025-12-17 22:40:56
448
php怎么取字符串里的数组_php字符串取数组json_decode与正则匹配法【技巧】 需根据字符串格式选择对应方法：一、标准JSON用json_decode；二、嵌套在非JSON中用正则提取后解析；三、PHP数组语法先替换再解析；四、可信环境可用eval；五、序列化字符串用unserialize。
2025-12-17 22:40:02
287
怎么修改php源码_php修改源码功能与结构调整法【教程】 修改PHP源码需先明确答案，再通过直接编辑文件、分离配置、重构函数类结构、使用预处理器指令、引入命名空间与自动加载、结合版本控制等方法优化代码逻辑与结构，提升可维护性与扩展性。
2025-12-17 22:39:34
102
PHP中define定义常量的方法 define()用于定义不可修改的全局常量，语法为define(name,value,case_insensitive)，支持标量及PHP7.0+数组类型，不区分大小写需显式设置第三参数为true，且须用defined()检查是否已定义。
2025-12-17 22:39:24
934
php怎么分割一个字符串数组_php字符串数组分割技巧【步骤】 按规则分割字符串数组有五种方法：一、array_chunk按固定数量分组；二、array_slice配合循环动态截取；三、preg_split用正则拆分单字符串；四、explode嵌套处理多级分隔符；五、array_filter依条件筛选重组。
2025-12-17 22:37:25
716
PHP构建简单留言板教程_PHP与MySQL实现留言功能 用PHP和MySQL实现留言板需三步：建表（含id、nickname、content、created_at字段）、PHP用PDO预处理防SQL注入并htmlspecialchars过滤XSS、前端表单提交+后端查询倒序展示，辅以长度限制与空值校验。
2025-12-17 22:37:02
527
php返回数组拆分操作_php分割数组成小数组方法【教程】 PHP数组分段可通过array_chunk()函数、for循环+array_slice()、array_keys()+array_values()组合、array_combine()配合键值分离，以及递归函数处理多维数组五种方法实现。
2025-12-17 22:37:02
405
php怎么对一个数组加大括号_php数组加大括号技巧【教程】 PHP中为数组元素添加大括号有五种方法：一、array_map配匿名函数；二、foreach引用原地修改；三、implode+str_replace（限纯字符串）；四、sprintf配array_walk；五、preg_replace_callback处理复杂内容。
2025-12-17 22:36:08
128
php查找数组不重复字段_php数组唯一值查找技巧【指南】 PHP数组去重有五种方法：一、array_unique()函数直接移除重复值；二、array_flip()两次反转法利用键唯一性；三、手动遍历+in_array()自定义逻辑；四、array_reduce()函数式累积构建；五、多维数组需先序列化再去重。
2025-12-17 22:35:52
346
php怎么用拼接字符串数组_PHP拼接字符串与数组 PHP中拼接字符串与数组有五种方法：一、用implode()以分隔符连接数组元素；二、用点运算符逐个拼接指定元素；三、用foreach循环灵活构建；四、用sprintf()配合解包按模板格式化；五、用array_reduce()自定义逻辑归约。
2025-12-17 22:34:38
747
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部