MySQL中查询、删除重复记录的方法大全「建议收藏」

MySQL中查询、删除重复记录的方法大全「建议收藏」前言 本文主要给大家介绍了关于MySQL中查询、删除重复记录的方法,分享出来供大家参考学习,下面来看看详细的介绍: 查找所有重复标题的记录: 1 select title,count(*)

 

前言

本文主要给大家介绍了关于MySQL中查询、删除重复记录的方法,分享出来供大家参考学习,下面来看看详细的介绍:

查找所有重复标题的记录:

1
select 
title,
count
(*)
as 
count 
from 
user_table
group 
by 
title
having 
count
>1;

1
SELECT 
*
FROM 
t_info a
WHERE 
((
SELECT 
COUNT
(*)
FROM 
t_info
WHERE 
Title = a.Title) > 1)
ORDER 
BY 
Title
DESC

一、查找重复记录

1、查找全部重复记录

1
SELECT 
*
FROM 
t_info a
WHERE 
((
SELECT 
COUNT
(*)
FROM 
t_info
WHERE 
Title = a.Title) > 1)
ORDER 
BY 
Title
DESC

2、过滤重复记录(只显示一条)

1
Select 
*
From 
HZT
Where 
ID
In 
(
Select 
Max
(ID)
From 
HZT
Group 
By 
Title)

注:此处显示ID最大一条记录

二、删除重复记录

1、删除全部重复记录(慎用

1
Delete 

Where 
重复字段
In 
(
Select 
重复字段
From 

Group 
By 
重复字段
Having 
Count
(*)>1)

2、保留一条(这个应该是大多数人所需要的 ^_^)

1
Delete 
HZT
Where 
ID
Not 
In 
(
Select 
Max
(ID)
From 
HZT
Group 
By 
Title)

注:此处保留ID最大一条记录

三、举例

1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断

1
select 
*
from 
people
where 
peopleId
in 
(
select 
peopleId
from 
people
group 
by 
peopleId
having 
count
(peopleId) > 1)

2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录

1
delete 
from 
people
where 
peopleId
in 
(
select 
peopleId
from 
people
group 
by 
peopleId
having 
count
(peopleId) > 1)
and 
rowid
not 
in 
(
select 
min
(rowid)
from 
people
group 
by 
peopleId
having 
count
(peopleId )>1)

3、查找表中多余的重复记录(多个字段)

1
select 
*
from 
vitae a
where 
(a.peopleId,a.seq)
in 
(
select 
peopleId,seq
from 
vitae
group 
by 
peopleId,seq
having 
count
(*) > 1)

4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录

1
delete 
from 
vitae a
where 
(a.peopleId,a.seq)
in 
(
select 
peopleId,seq
from 
vitae
group 
by 
peopleId,seq
having 
count
(*) > 1)
and 
rowid
not 
in 
(
select 
min
(rowid)
from 
vitae
group 
by 
peopleId,seq
having 
count
(*)>1)

5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录

1
select 
*
from 
vitae a
where 
(a.peopleId,a.seq)
in 
(
select 
peopleId,seq
from 
vitae
group 
by 
peopleId,seq
having 
count
(*) > 1)
and 
rowid
not 
in 
(
select 
min
(rowid)
from 
vitae
group 
by 
peopleId,seq
having 
count
(*)>1)

四、补充

有两个以上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。

1、对于第一种重复,比较容易解决,使用

1
select 
distinct 
*
from 
tableName

就可以得到无重复记录的结果集。

如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除

1
2
3
4
select 
distinct 
*
into 
#Tmp
from 
tableName
drop 
table 
tableName
select 
*
into 
tableName
from 
#Tmp
drop 
table 
#Tmp

发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下

假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集

1
2
3
select 
identity(
int
,1,1)
as 
autoID, *
into 
#Tmp
from 
tableName
select 
min
(autoID)
as 
autoID
into 
#Tmp2
from 
#Tmp
group 
by 
Name
,autoID
select 
*
from 
#Tmp
where 
autoID
in
(
select 
autoID
from 
#tmp2)

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助

 

原文链接:http://blog.phpsoho.com/2017/06/20/mysql之-查询重复记录、删除重复记录方法大全/

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10985.html

(0)
上一篇 2022-12-18
下一篇 2022-12-18

相关推荐

  • HBase Filter 过滤器之 ValueFilter 详解[通俗易懂]

    HBase Filter 过滤器之 ValueFilter 详解[通俗易懂]前言: 本文详细介绍了 HBase ValueFilter 过滤器 Java&Shell API 的使用,并贴出了相关示例代码以供参考。ValueFilter 基于列值进行过滤,在工作中涉及到

    2023-03-01
    145
  • Python工程师:MongoDB聚合操作实现数据分组

    Python工程师:MongoDB聚合操作实现数据分组在数据分析领域,对数据进行聚合操作是非常常见的需求,特别是在数据集比较大、数据结构比较复杂的情况下。MongoDB是一款非常流行的文档数据库,支持丰富的聚合操作。本文将深入介绍MongoDB的聚合操作,帮助读者实现数据分组功能。

    2024-05-10
    72
  • 苏涛:对抗样本技术在互联网安全领域的应用

    苏涛:对抗样本技术在互联网安全领域的应用导读: 验证码作为网络安全的第一道屏障,其重要程度不言而喻。当前,卷积神经网络的高速发展使得许多验证码的安全性大大降低,一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究,给验证码

    2023-05-21
    148
  • Python中len函数的用法及作用

    Python中len函数的用法及作用Python中,len()是一个python内建函数,用于返回一个序列(如字符串、列表、元组等)或者集合类对象(如字典、集合等)的长度或元素个数。

    2023-12-26
    115
  • Python os.path.filename实现文件路径获取文件名

    Python os.path.filename实现文件路径获取文件名在Python编程中,经常需要操作文件。而文件操作中,获取文件名是很常见的需求。Python的os.path模块提供了一系列函数,可以帮助我们实现获取文件名的操作。其中,os.path.filename()函数是专门用于获取文件名的函数。本文将着重介绍该函数及其用法。

    2024-02-29
    99
  • 3、MySql第三章,分库分表、MyCat概述及安装登录[亲测有效]

    3、MySql第三章,分库分表、MyCat概述及安装登录[亲测有效]MySql第三章,分库分表、MyCat概述及安装登录 先下定论,数据库优化顺序: 1、单库单表; 2、单库单表主从复制; 3、垂直分库; 4、水平分区; 5、水平分表; 一、概述 1、为什么要分库分…

    2023-03-05
    148
  • PHP实现redis订阅和发布(用于异步任务处理)[亲测有效]

    PHP实现redis订阅和发布(用于异步任务处理)[亲测有效]1.概念名称及含义channel 频道:生产者和消费者直接操作的对象publish 生产者:向channel发送消息subscribe 消费者:订阅一个或多个channelpsubscribe 消费者

    2023-02-20
    149
  • Python中的数组:优化数据结构存储和处理

    Python中的数组:优化数据结构存储和处理Python中的数据结构list可以很方便地存储各种类型的数据,但是其本身是一个动态数组,因此在进行大量的插入和删除操作时,效率会受到影响。此时,可以考虑使用array模块,将数据存储在一个连续且类型相同的内存块中,可以在某些情况下提升处理效率。

    2023-12-20
    105

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注