MySQL中批量insert into时防止更新插入重复数据去重的方法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种方法
方案一：使用ignore关键字
如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：
INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('www@365jz.com', '13112345678', '9999');
这样当有重复记录就会忽略,执行后返回数字0
还有个应用就是复制表,避免重复记录：
INSERT IGNORE INTO `table_1` (`name`) SELECT `name` FROM `table_2`;
方案二：使用Replace
语法格式：
代码如下:
REPLACE INTO `table_name`(`col_name`, ...) VALUES (...); REPLACE INTO `table_name` (`col_name`, ...) SELECT ...; REPLACE INTO `table_name` SET `col_name`='value',
...算法说明：
REPLACE的运行与INSERT很相像,但是如果旧记录与新记录有相同的值，则在新记录被插入之前，旧记录被删除，即：
尝试把新行插入到表中
当因为对于主键或唯一关键字出现重复关键字错误而造成插入失败时：
从表中删除含有重复关键字值的冲突行
再次尝试把新行插入到表中
旧记录与新记录有相同的值的判断标准就是：
表有一个PRIMARY KEY或UNIQUE索引，否则，使用一个REPLACE语句没有意义。该语句会与INSERT相同，因为没有索引被用于确定是否新行复制了其它的行。
返回值：
REPLACE语句会返回一个数，来指示受影响的行的数目。该数是被删除和被插入的行数的和
受影响的行数可以容易地确定是否REPLACE只添加了一行，或者是否REPLACE也替换了其它行：检查该数是否为1（添加）或更大（替换）。
示例:
# eg:(phone字段为唯一索引)
REPLACE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('www@365jz.com', '13112345678', '123');
另外,在 SQL Server 中可以这样处理：
复制代码代码如下:
if not exists (select phone from t where phone= '1') insert into t(phone, update_time) values('1', getdate()) else update t set update_time = getdate() where phone= '1'
方案三：ON DUPLICATE KEY UPDATE
如上所写，你也可以在INSERT INTO…..后面加上 ON DUPLICATE KEY UPDATE方法来实现。如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。
例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：
复制代码代码如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=`c`+1; UPDATE `table` SET `c`=`c`+1 WHERE `a`=1;
如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。
注释：如果列b也是唯一列，则INSERT与此UPDATE语句相当：
复制代码代码如下:
UPDATE `table` SET `c`=`c`+1 WHERE `a`=1 OR `b`=2 LIMIT 1;
如果a=1 OR b=2与多个行向匹配，则只有一个行被更新。通常，您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。
您可以在UPDATE子句中使用VALUES(col_name)函数从INSERT…UPDATE语句的INSERT部分引用列值。换句话说，如果没有发生重复关键字冲突，则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT…UPDATE语句中有意义，其它时候会返回NULL。
复制代码代码如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`);
本语句与以下两个语句作用相同：
复制代码代码如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=3; INSERT INTO `table` (`a`, `b`, `c`) VALUES (4, 5, 6) ON DUPLICATE KEY UPDATE c=9;
注释：当您使用ON DUPLICATE KEY UPDATE时，DELAYED选项被忽略。
示例：
这个例子是我在实际项目中用到的：是将一个表的数据导入到另外一个表中，数据的重复性就得考虑(如下)，唯一索引为：email：
复制代码代码如下:
INSERT INTO `table_name1` (`title`, `first_name`, `last_name`, `email`, `phone`, `user_id`, `role_id`, `status`, `campaign_id`) SELECT '', '', '', `table_name2`.`email`, `table_name2`.`phone`, NULL, NULL, 'pending', 29 FROM `table_name2` WHERE `table_name2`.`status` = 1 ON DUPLICATE KEY UPDATE `table_name1`.`status`='pending'
再贴一个例子：
复制代码代码如下:
INSERT INTO `class` SELECT * FROM `class1` ON DUPLICATE KEY UPDATE `class`.`course`=`class1`.`course`
其它关键：DELAYED 做为快速插入，并不是很关心失效性，提高插入性能。
IGNORE 只关注主键对应记录是不存在，无则添加，有则忽略。
特别说明：在MYSQL中UNIQUE索引将会对null字段失效，也就是说(a字段上建立唯一索引)：
复制代码代码如下:
INSERT INTO `test` (`a`) VALUES (NULL);
是可以重复插入的（联合唯一索引也一样）。
在插入大量数据时可能同时遇到两个问题：
如果每条更新执行一次sql性能很低，也容易造成阻塞；
批量插入时又有可能遇到主键 或者 唯一索引重复的问题，导致整个批量插入失败
使用 ON DUPLICATE KEY UPDATE 一条sql解决批量插入和主键或者唯一索引重复问题
举例如下：
表结构如下：
create table mytable( id int not null, code char(6) not null, description char(50) null, number int not null, name char(50) not null, primary key id, unique key uk_mytable_code (code));
批量插入如下：
INSERT INTO mytable(id, code, description, number, name) VALUES (?,?,?,?,?),(?,?,?,?,?),(?,?,?,?,?) ON DUPLICATE KEY UPDATE description = VALUES(description), number = VALUES(number)
//description=VALUES(description)，number = VALUES(number) 表示出现在values中某列的id字段值与表中已有id字段值重复
(或者code的值与表中已有code字段值重复)时，会更新对应已存在记录的这两个字段
//还可以指定其它值或进行运算：number=number+ 1，number=number- 1
//因为这里未指定列name, 所以遇到重复id（或者code）列，表中该列的name字段不会更新
//如果某列作为新记录被插入，则受影响行的值为1；如果表中原有的记录被更新，则受影响行的值为2
Sqlite 批量操作时防止插入重复数据的方法：
在SQLITE中，可以用以下方法防止插入重复数据，
1.设置表的联合主键
2.在INSERT语句中添加OR IGNORE，即可（重复数据会跳过，且不影响后续数据插入）
示例如下：
insert OR IGNORE into PDA_Test (DeviceID,MethodName) values('1112','测试原有');
sqlite避免重复插入数据。
SQLite 数据库常用约束如下：
NOT NULL - 非空
UNIQUE - 唯一
PRIMARY KEY - 主键
FOREIGN KEY - 外键
CHECK - 条件检查
DEFAULT - 默认
用insert语句插入数据，为避免重复插入又不打断数据处理。
首先要避免重复插入，就必须在插入时引发冲突。在表中设置了id字段，该字段为UNIQUE属性，当插入的id已存在时引发冲突。
引发冲突后insert会做一些处理，处理方式由OR字句定义。包含如下：
ROLLBACK当发生约束冲突，立即ROLLBACK，即结束当前事务处理，命令中止并返回SQLITE_CONSTRAINT代码。若当前无活动事务(除了每一条命令创建的默认事务以外)，则该算法与ABORT相同。
ABORT当发生约束冲突，命令收回已经引起的改变并中止返回SQLITE_CONSTRAINT。但由于不执行ROLLBACK，所以前面的命令产生的改变将予以保留。缺省采用这一行为。
FAIL当发生约束冲突，命令中止返回SQLITE_CONSTRAINT。但遇到冲突之前的所有改变将被保留。例如，若一条UPDATE语句在100行遇到冲突100th，前99行的改变将被保留，而对100行或以后的改变将不会发生。
IGNORE当发生约束冲突，发生冲突的行将不会被插入或改变。但命令将照常执行。在冲突行之前或之后的行将被正常的插入和改变，且不返回错误信息。
REPLACE当发生UNIQUE约束冲突，先存在的，导致冲突的行在更改或插入发生冲突的行之前被删除。这样，更改和插入总是被执行。命令照常执行且不返回错误信息。当发生NOT NULL约束冲突，导致冲突的NULL值会被字段缺省值取代。若字段无缺省值，执行ABORT算法
Sqlite执行insert or ignore 或insert or replace语句。
insert or replace into cardlog (mid,type) values (7,0); insert or ignore into cardlog (mid,type) values (7,0);
上面的第一条语句是每次执行时，如果不存在，则添加，如果存在，则更新。
上面的第二条语句是每次执行时，如果不存在，则添加，如果存在，则不操作。
在MSSQL中，你可以使用诸如：
IF NOT EXISTS(SELECT * FROM Book WHERE ….) THEN INSERT INTO ... ELSE UPDATE SET ...
转自链接：https://www.365jz.com/article/24852，侵删