oracle 删除大表内的重复数据-mysql教程-PHP中文网

oracle 删除大表内的重复数据

php中文网

发布： 2016-06-07 16:35:43

原创

1578人浏览过

因为一些原因数据库中的一张表（2kw+数据）没有建立主键，并且随着时间的增加产生了大量的重复数据，我通过以下方式进行数据去重：原理：即使是所有业务字段都一样的两条数据他的rowid也是不一样的。首先按照业务要求找出哪些字段重复的算重复数据，我是这

因为一些原因数据库中的一张表（2kw+数据）没有建立主键，并且随着时间的增加产生了大量的重复数据，我通过以下方式进行数据去重：

原理：即使是所有业务字段都一样的两条数据他的rowid也是不一样的。

首先按照业务要求找出哪些字段重复的算重复数据，我是这样的，以下字段全部一致就认为是重复数据： hphm,hpzl,wfsj,wfxw,jszh
表名：VIOLATION_USE

此表为分区表，查此表分区详情：

SELECT * FROM USER_TAB_PARTITIONS WHERE TABLE_NAME =’VIOLATION_USE’;

USER_TAB_PARTITIONS

查询表使用的分区

可以看到此表有10个分区：SYS_P51 – SYS_P60;

云网OA

采用JSP开发的办公自动化产品、基于B/S结构，运行环境：JDK v1.5、Tomcat v5.5、MySQL v4.1，三者均为以上版本其他相关内容：可视化流程设计：流程支持串签、会签和分支流程，可以设置流程节点的修改、删除权限，并可指定流程中各个用户在表单中可以填写的域。智能表单所见即所得设计：智能设计，自动在数据库中生成表格，方便优化程序公共交流：集论坛、博客、聊天室于一体文件柜：C

查看详情

查询重复数据里的最大的rowid，然后删除rowid 在里面的数据，因为是分区表所以可以分区操作，否则时间会非常长（ps我在服务器上操作一晚上也没成功）：

delete from violation_use PARTITION(SYS_P51) where rowid in (
select rid from 
(
select max(rowid) rid,count(*)
from violation_use
group by hphm,hpzl,wfsj,wfxw,jszh
having count(*)>1
) 
);

登录后复制

重复执行直到删除所有重复数据。

原文地址：oracle 删除大表内的重复数据, 感谢原作者分享。