MySQL负载数据INFILE与重复密钥更新

为了将大量的数据加载到MySQL中， LOAD DATA INFILE是最快的select。 不幸的是，虽然这可以以INSERT IGNORE或REPLACE的方式使用，但是当前不支持ON DUPLICATE KEY UPDATE。

但是， ON DUPLICATE KEY UPDATE上比REPLACE有优势。 当存在重复时，后者执行删除和插入操作。 这为密钥pipe理带来了开销。 此外，自动增量ID将不会保持不变。

在使用LOAD DATA INFILE时，如何模拟ON DUPLICATE KEY UPDATE ？

Answer 1

这些步骤可以用来模拟这个function：

1）创build一个新的临时表。

 CREATE TEMPORARY TABLE temporary_table LIKE target_table; 

2）可选地，删除临时表中的所有索引以加快速度。

 SHOW INDEX FROM temporary_table; DROP INDEX `PRIMARY` ON temporary_table; DROP INDEX `some_other_index` ON temporary_table; 

3）将CSV加载到临时表中

 LOAD DATA INFILE 'your_file.csv' INTO TABLE temporary_table FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' (field1, field2); 

4）使用ON DUPLICATE KEY UPDATE复制数据

 SHOW COLUMNS FROM target_table; INSERT INTO target_table SELECT * FROM temporary_table ON DUPLICATE KEY UPDATE field1 = VALUES(field1), field2 = VALUES(field2); 

5）删除临时表

 DROP TEMPORARY TABLE temporary_table; 

使用SHOW INDEX FROM和SHOW COLUMNS FROM这个过程可以自动为任何给定的表。

Answer 2

我们可以在（Jan）共享的过程中用下面的单个查询replace第一个（两个步骤）。

1）和2）我们可以创build具有相同参考结构且没有任何索引的新表格。

CREATE TEMPORARY TABLE temporary_table SELECT * FROM target_table WHERE 1 = 0;

代替..

1）创build一个新的临时表。

CREATE TEMPORARY TABLE temporary_table LIKE target_table;

2）可选地，删除临时表中的所有索引以加快速度。

SHOW INDEX FROM temporary_table; DROP INDEX PRIMARY ON temporary_table; DROP INDEX some_other_index ON temporary_table;