如何从 MySQL 数据库中删除重复数据

介绍

在使用数据库时，特别是在不断修改或附加大型数据集的环境中，经常会遇到重复的数据。这可能导致查询性能低、数据不一致和报告不准确。幸运的是，mysql 识别和删除这些重复项提供了强大的工具。

在本博客中，我将引导您了解一种高效、全面的检测和删除方法 mysql 数据库中的重复记录。这里的方法适用于大多数关系数据库系统，但我们将重点关注本教程 mysql。

重复项的构成是什么？

在深入研究代码之前，重复是重要的。在许多情况下，重复项不仅是所有列都有相同值的记录。通常，重复项在键列的子集中可能具有相同的值。例如，在 users 在表中，两个记录可能有相同的电子邮件地址，但其他字段(如用户名或注册日期)不同。

为了简单起见，在本教程中，我们假设重复项与所有列(或列子集)相匹配。

员工应考虑以下示例：

id first_name last_name email salary 1 john doe john@example.com 60000 2 jane smith jane@example.com 65000 3 john doe john@example.com 60000 4 alex johnson alex@example.com 72000 5 john doe john@example.com 60000

这里， id = 1、id = 3 和 id = 5 行是重复的。我们的目标是删除它们，同时只保留一份副本。

删除重复项的分步指南 1. 识别重复记录

第一步是确定哪些记录是重复的。因此，我们需要根据唯一的列分组记录。在这种情况下，我们假设名称、姓氏和电子邮件的组合应该是唯一的。

您可以使用以下查询查找重复项：

select first_name, last_name, email, count(*)
from employees
group by first_name, last_name, email
having count(*) > 1;

该查询根据名称、姓氏和电子邮件列对记录进行分组，只显示多个组，即重复项。

2. 选择要保留或删除的重复行

在识别出重复项之后，我们需要一种删除它们的方法。保留它们是很常见的方法 id 删除最小或最大的记录。我们可以使用它 自连接 将每一个重复记录与我们想要保留的记录相匹配。

例子：

delete e1
from employees e1
join employees e2
on e1.first_name = e2.first_name
and e1.last_name = e2.last_name
and e1.email = e2.email
and e1.id > e2.id;

本查询的工作原理如下：

• 它对员工表进行自连接，记录相同的名称、姓氏和电子邮件。
• 它保证只有更高 id 行(意味着它们以后插入)将被删除，并保留最小值 id 的记录。

3. 临时表用于更复杂的场景

在某些情况下，你可能有更复杂的条件来确定保留哪个副本，比如保留最新的signup_date或最高工资记录。

在这种情况下，您可以使用临时表来存储要保留的行，然后删除所有其他内容。

例子：

create temporary table temp_employees as
select * from employees e1
where e1.id in (
    select min(id)
    from employees
    group by first_name, last_name, email
);

delete from employees
where id not in (select id from temp_employees);

本查询的作用如下：

1. 创建临时表 temp_employees，它只包含每个组合的名称、姓氏和电子邮件的唯一记录(在本例中是最小的 id 的记录）。
2. 删除原始员工表中不存在 temp_employees 表中的所有记录。

当决定保留哪个重复项的标准比简单地使用时 id 这种方法更为复杂，非常有用。

4. 为了防止将来重复，增加唯一的约束

清除重复项后，最好防止它们再次出现。您可以通过向相关列添加唯一的约束来实现此目标。

例如，为了防止将来出现任何具有相同姓名、姓氏和电子邮件的行：

alter table employees
add constraint unique_employee
unique (first_name, last_name, email);

这样可以保证数据库在试图插入重复记录时会出错，从而保持数据的完整性。

考虑性能因素

在处理大型数据集时，删除重复项可能会非常缓慢，并占用大量资源。以下是一些优化性能的技巧：

• 索引： 确保过滤所涉及的列(如名称、姓氏、电子邮件)已建立索引。这可以显著加快这个过程。
• 批量删除:如果要删除大量行，请分批考虑，避免长时间锁定，减少服务器负荷。

批量删除示例：

DELETE e1
FROM employees e1
JOIN employees e2
ON e1.first_name = e2.first_name
AND e1.last_name = e2.last_name
AND e1.email = e2.email
AND e1.id > e2.id
LIMIT 1000;

在删除所有重复项目之前，您可以多次操作此查询。

结论

处理 mysql 数据库中的重复记录是一项常见的任务。如果处理不当，可能会导致数据丢失或结果不一致。使用本博客中概述的步骤，您可以自信有效地删除重复项，同时保持数据的完整性。此外，通过添加唯一的限制，您可以确保未来的重复，以帮助维护清洁可靠的数据集。

以上就是如何去做 MySQL 删除数据库中重复数据的详细信息，请关注图灵教育的其他相关文章！