目錄Mysql刪除表重復數據表里存在唯一主鍵沒有主鍵時刪除重復數據Mysql刪除表中重復數據并保留一條準備一張表 用的是mysql8 大家自行更改創建表并添加四條相同的數據總結Mysql刪除表重復數據表里存在唯一主鍵

根據多個字段刪除重復數據，只保留一條數據

DELETEFROMtable_name WHERE(字段1, 字段2) IN (SELECTt.字段1,t.字段2FROM(SELECT字段1,字段2FROMtable_name GROUP BY字段1,字段2HAVINGcount(1) > 1) t)AND id NOT IN (SELECTdt.idFROM(SELECTmin(id) AS idFROMtable_name GROUP BY字段1,字段2HAVINGcount(1) > 1) dt)沒有主鍵時刪除重復數據

1、創建新表

①創建一個新表與目標表結構字段保持一致

create table new_table_temp

②將過濾查詢的統計的數據寫入到新表

insert into new_table_temp

③將舊表table_name 刪除

delete from table_name?

④將創建的新表名稱修改為舊表名稱

2、添加字段

①表結構添加一個自增且唯一字段

②按照存在唯一主鍵進行刪除重復數據

③刪除添加的自增字段

Mysql刪除表中重復數據并保留一條

最近有個需求，給角色添加菜單權限，這是一個role_menu 表。

里面存放的是角色id和菜單id，是批量給一種類型角色添加，但有可能角色人為添加過，因為數據量還是比較大的，如果先查詢這個有沒有添加過再添加會很耗時，而統一不管有沒有添加過一并添加則很快，這就需要后續給重復數據給刪除掉，于是有了今天的分享。

我這里只做一個列子，工作代碼安全底線大家謹記哈。

準備一張表 用的是mysql8 大家自行更改/* Navicat Premium Data Transfer Source Server : localmysql Source Server Type : MySQL Source Server Version : 80030 Source Host : localhost:3306 Source Schema : nie_db Target Server Type : MySQL Target Server Version : 80030 File Encoding : 65001 Date: 17/08/2022 10:49:41*/SET NAMES utf8mb4;SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for message-- ----------------------------DROP TABLE IF EXISTS `message`;CREATE TABLE `message` ( `id` bigint(0) NOT NULL, `message_title` varchar(50) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL, `message_context` varchar(200) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci NULL DEFAULT NULL, `send_peo` bigint(0) NULL DEFAULT NULL, `receive_peo` bigint(0) NULL DEFAULT NULL, `scope` int(0) NULL DEFAULT 0, `del_flag` tinyint(0) NULL DEFAULT 0, `create_time` datetime(0) NULL DEFAULT NULL, `creator` tinyint(0) NULL DEFAULT NULL, `update_time` datetime(0) NULL DEFAULT NULL, PRIMARY KEY (`id`) USING BTREE) ENGINE = InnoDB CHARACTER SET = utf8mb3 COLLATE = utf8mb3_general_ci ROW_FORMAT = Dynamic;-- ------------------------------ Records of message-- ----------------------------INSERT INTO `message` VALUES (1, '測試消息', '消息內容', 23, 1231, 0, 0, '2022-08-17 10:39:51', 3, '2022-08-17 10:40:00');INSERT INTO `message` VALUES (2, '測試消息', '消息內容', 23, 1231, 0, 0, '2022-08-17 10:39:51', 3, '2022-08-17 10:40:00');INSERT INTO `message` VALUES (3, '測試消息', '消息內容', 23, 1231, 0, 0, '2022-08-17 10:39:51', 3, '2022-08-17 10:40:00');INSERT INTO `message` VALUES (4, '測試消息', '消息內容', 23, 1231, 0, 0, '2022-08-17 10:39:51', 3, '2022-08-17 10:40:00');SET FOREIGN_KEY_CHECKS = 1;創建表并添加四條相同的數據

接下來是我們這次的重頭，我封裝了一個存儲過程，具體的邏輯都在注釋里了，你也可以分析然后單獨拿出來分批次執行sql

CREATE DEFINER=`root`@`localhost` PROCEDURE `remove`()BEGINDECLARE count_all INT DEFAULT 0;DECLARE count_copy INT DEFAULT 1;-- 創建一個臨時復制表,并將目標表數據復制進來DROP TABLE if exists message_01 ;create TEMPORARY TABLE message_01 (SELECT * FROM message);-- 查詢去重后實際條數 并賦值給我們的變量 去重根據實際需求更改GROUP BY 后面條件SELECT COUNT(1) into count_all from (select COUNT(1) FROM message WHERE del_flag = 0 GROUP BY message_title,message_context) t ;/*刪除復制表的重復數據并保留一條 保留哪條數據可以自己根據條件調節，比如最小id等等，就是條件問題 還有就是去重根據實際需求更改GROUP BY 后面條件這里如果使用了邏輯刪除，有需要保留數據的可以改成修改邏輯刪除字段*/DELETE FROM message_01 WHERE ID NOT IN (select t.id FROM (select MAX(id) as id FROM message WHERE del_flag = 0 GROUP BY message_title,message_context) t);-- 再次不去重查詢 如結果和查詢結果一樣則操作正確且完整select COUNT(1) INTO count_copy FROM message_01 WHERE del_flag = 0 ;-- 進行最后兩次查詢結果比對IF count_all = count_copy THENTRUNCATE message;INSERT INTO message (SELECT * FROM message_01);SELECT 'success';ELSE SELECT '改造失敗',count_all AS '原表條數',count_copy AS '復制表刪除重復數據后統計的條數';END IF;END

另外創建存儲過程，就是再函數那里右鍵 -》過程-》輸入名字-》完成 ，你也可以百度下怎么創建的，我這里就不說太多啦。

總結

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持好吧啦網。