MySQL旧数据清理

Posted on Aug 9, 2023

Table of contents:

背景

在SAAS应用中，随着时间的推移用户的数据会越来多，磁盘空间的占用也会越来越大。如果用户停止使用，数据还保持在数据库，这可能会导致一些问题：

针对这些问题就需要做一些数据清理工作，降低成本，提供数据库查询效率。这里分为两个部分清理：

DELETE FROM table WHERE condition;

使用where条件来过滤要删除的数据，这种方法操作简单，不过如果要一次性删除大量的数据可能会导致性能问题，因为DELETE语句为锁定数据，可能需要很长的时间来执行。

也有办法来减少执行时间，降低删数据的性能影响：

分批删除
- 通过limit子句，将大的删除分成多个批次进行，以减轻数据库的负载。
- 如果要删除100万行的数据，可以分为100个批次，每个批次删除1000条数据。

DELETE FROM table WHERE condition limit 1000;

在删除大量数据之前，创建一个临时表，将要保留的数据复制到临时表，然后删除原始表的数据。这样可以保留备份，以防意外发生，不会影响数据库查询。

一些开源工具如gh-ost可以做在线迁移，不过它不能指定where条件来做数据过滤。DTS是阿里云的数据同步产品，可以跨云、跨实例迁移，也支支持同一个数据库的迁移，支持where条件。

如果需要删除整个表的数据，可以考虑使用TRUNCATE TABLE语句。这比DELETE语句更快，因为它会直接清除表中的数据而不是逐行删除。

删除分区

ALTER TABLE t1 DROP PARTITION p0, p1;

删除表空间

ALTER TABLE t1 DISCARD PARTITION p0, p1 TABLESPACE;

操作步骤：