load data infile 需要注意的一些地方

 http://blog.chinaunix.net/u/29134/showart_1069838.html

我的文章一般淺顯易懂，不會搞那麼深入讓大家很難理解。（其實我水平也不咋樣)

LOAD DATA INFILE 一直被認為是MySQL很強大的一個資料匯入工具，因為他速度非常的快。
不過有幾個問題一定要注意
1、編碼。
2、靈活匯入匯出。

我來舉兩個例子說明一下。
一、關於編碼
我們的樣本文字檔：
"我愛你","20","相貌平常，經常耍流氓！哈哈"
"李奎","21","相貌平常，經常耍流氓！哈哈"
"王二米","20","相貌平常，經常耍流氓！哈哈"
"老三","24","很強"
"老四","34","XXXXX"
"老五","52","***%*￥*￥*￥*￥"
"小貓","45","中間省略。。。"
"小狗","12","就會叫"
"小妹","21","PP的很"
"小壞蛋","52","表裡不一"
"上帝他爺","96","非常英俊"
"MM來了","10","。。。"
"歌頌黨","20","社會主義好"
"人民好","20","的確是好"
"老高","10","學習很好"
"斜三","60","眼睛斜了"
"中華之子","100","威武的不行了"
"大米","63","我愛吃"
"蘋果","15","好吃"
我們的樣本表結構：

+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                                                                                                                                                                                                          |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t0    | CREATE TABLE `t0` (
  `id` bigint(20) unsigned NOT NULL auto_increment,
  `name` char(20) NOT NULL,
  `age` tinyint(3) unsigned NOT NULL,
  `description` text NOT NULL,
  PRIMARY KEY  (`id`),
  UNIQUE KEY `idx_name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 |
+-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

我們把這個文字檔從WINDOWS 下COPY到LINUX下看看

mysql> load data infile '/tmp/t0.txt' ignore into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '/n' (`name`,`age`,`description`);
Query OK, 19 rows affected (0.01 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age | description                |
+----+----------+-----+----------------------------+
|  1 | 我愛你   |  20 | 相貌平常，經常耍流氓！哈哈 |
|  2 | 李奎     |  21 | 相貌平常，經常耍流氓！哈哈 |
|  3 | 王二米   |  20 | 相貌平常，經常耍流氓！哈哈 |
|  4 | 老三     |  24 | 很強                       |
|  5 | 老四     |  34 | XXXXX                      |
|  6 | 老五     |  52 | ***%*￥*￥*￥*￥           |
|  7 | 小貓     |  45 | 中間省略。。。             |
|  8 | 小狗     |  12 | 就會叫                     |
|  9 | 小妹     |  21 | PP的很                     |
| 10 | 小壞蛋   |  52 | 表裡不一                   |
| 11 | 上帝他爺 |  96 | 非常英俊                   |
| 12 | MM來了   |  10 | 。。。                     |
| 13 | 歌頌黨   |  20 | 社會主義好                 |
| 14 | 人民好   |  20 | 的確是好                   |
| 15 | 老高     |  10 | 學習很好                   |
| 16 | 斜三     |  60 | 眼睛斜了                   |
| 17 | 中華之子 | 100 | 威武的不行了               |
| 18 | 大米     |  63 | 我愛吃                     |
| 19 | 蘋果     |  15 | 好吃                       |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)

我來說明一下相關的參數
關於我的匯入語句，我現在直說兩個，其他的參考手冊。
character set gbk;

這個字元集一定要寫，要不然就會亂碼或者只匯入一部分資料。

ignore into table

因為name 列加了唯一索引，加這個是為了避免重複資料插入報錯。

加入我們再次運行這個匯入語句就會發現
Query OK, 0 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 19  Warnings: 0
沒有任何值匯入，因為裡面已經有了相同的值。

這裡也可以用replace into table
MySQL會把相同的先幹掉，再插入新的值。
mysql> load data infile '/tmp/t0.txt' replace into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '/n' (`name`,`age`,`description`);
Query OK, 38 rows affected (0.00 sec)
Records: 19  Deleted: 19  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+
| id | name     | age | description                |
+----+----------+-----+----------------------------+
| 20 | 我愛你   |  20 | 相貌平常，經常耍流氓！哈哈 |
| 21 | 李奎     |  21 | 相貌平常，經常耍流氓！哈哈 |
| 22 | 王二米   |  20 | 相貌平常，經常耍流氓！哈哈 |
| 23 | 老三     |  24 | 很強                       |
| 24 | 老四     |  34 | XXXXX                      |
| 25 | 老五     |  52 | ***%*￥*￥*￥*￥           |
| 26 | 小貓     |  45 | 中間省略。。。             |
| 27 | 小狗     |  12 | 就會叫                     |
| 28 | 小妹     |  21 | PP的很                     |
| 29 | 小壞蛋   |  52 | 表裡不一                   |
| 30 | 上帝他爺 |  96 | 非常英俊                   |
| 31 | MM來了   |  10 | 。。。                     |
| 32 | 歌頌黨   |  20 | 社會主義好                 |
| 33 | 人民好   |  20 | 的確是好                   |
| 34 | 老高     |  10 | 學習很好                   |
| 35 | 斜三     |  60 | 眼睛斜了                   |
| 36 | 中華之子 | 100 | 威武的不行了               |
| 37 | 大米     |  63 | 我愛吃                     |
| 38 | 蘋果     |  15 | 好吃                       |
+----+----------+-----+----------------------------+
19 rows in set (0.00 sec)

 (`name`,`age`,`description`);

這些也就是具體的表屬性了，指明這個就可以匯入想要的資料。
2、關於靈活性，其實也就是一個記錄功能
如果想在匯入的時候記錄一下匯入的具體時間怎麼辦？
我們來看看
先加一個時間屬性記錄匯入時間。
mysql> alter table t0 add update_time timestamp not null;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0
幹掉唯一索引
mysql> alter table t0 drop index idx_name;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Duplicates: 0  Warnings: 0

mysql> load data infile '/tmp/t0.txt' into table t0 character set gbk fields terminated by ',' enclosed by '"' lines terminated by '/n' (`name`,`age`,`description`) set update_time=current_timestamp;
Query OK, 19 rows affected (0.00 sec)
Records: 19  Deleted: 0  Skipped: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age | description                | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 20 | 我愛你   |  20 | 相貌平常，經常耍流氓！哈哈 | 0000-00-00 00:00:00 |
…………
| 24 | 老四     |  34 | XXXXX                      | 0000-00-00 00:00:00 |
| 25 | 老五     |  52 | ***%*￥*￥*￥*￥           | 0000-00-00 00:00:00 |
…………
| 35 | 斜三     |  60 | 眼睛斜了                   | 0000-00-00 00:00:00 |
| 36 | 中華之子 | 100 | 威武的不行了               | 0000-00-00 00:00:00 |
…………
| 60 | 王二米   |  20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
…………
| 68 | 上帝他爺 |  96 | 非常英俊                   | 2008-06-30 14:58:37 |
| 69 | MM來了   |  10 | 。。。                     | 2008-06-30 14:58:37 |
…………
| 75 | 大米     |  63 | 我愛吃                     | 2008-06-30 14:58:37 |
| 76 | 蘋果     |  15 | 好吃                       | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
38 rows in set (0.00 sec)

新匯入的19條記錄時間被記錄了下來。
只是之前的資料庫沒有記錄，不過現在不需要這些重複資料了。

幹掉他就可以了

mysql> alter table t0 order by id desc;
Query OK, 38 rows affected (0.01 sec)
Records: 38  Duplicates: 0  Warnings: 0

mysql> alter ignore table t0 add unique index idx_name (`name`);
Query OK, 38 rows affected (0.00 sec)
Records: 38  Duplicates: 19  Warnings: 0

mysql> alter table t0 order by id asc;
Query OK, 19 rows affected (0.01 sec)
Records: 19  Duplicates: 0  Warnings: 0

mysql> select * from t0;
+----+----------+-----+----------------------------+---------------------+
| id | name     | age | description                | update_time         |
+----+----------+-----+----------------------------+---------------------+
| 58 | 我愛你   |  20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 59 | 李奎     |  21 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 60 | 王二米   |  20 | 相貌平常，經常耍流氓！哈哈 | 2008-06-30 14:58:37 |
| 61 | 老三     |  24 | 很強                       | 2008-06-30 14:58:37 |
| 62 | 老四     |  34 | XXXXX                      | 2008-06-30 14:58:37 |
| 63 | 老五     |  52 | ***%*￥*￥*￥*￥           | 2008-06-30 14:58:37 |
| 64 | 小貓     |  45 | 中間省略。。。             | 2008-06-30 14:58:37 |
| 65 | 小狗     |  12 | 就會叫                     | 2008-06-30 14:58:37 |
| 66 | 小妹     |  21 | PP的很                     | 2008-06-30 14:58:37 |
| 67 | 小壞蛋   |  52 | 表裡不一                   | 2008-06-30 14:58:37 |
| 68 | 上帝他爺 |  96 | 非常英俊                   | 2008-06-30 14:58:37 |
| 69 | MM來了   |  10 | 。。。                     | 2008-06-30 14:58:37 |
| 70 | 歌頌黨   |  20 | 社會主義好                 | 2008-06-30 14:58:37 |
| 71 | 人民好   |  20 | 的確是好                   | 2008-06-30 14:58:37 |
| 72 | 老高     |  10 | 學習很好                   | 2008-06-30 14:58:37 |
| 73 | 斜三     |  60 | 眼睛斜了                   | 2008-06-30 14:58:37 |
| 74 | 中華之子 | 100 | 威武的不行了               | 2008-06-30 14:58:37 |
| 75 | 大米     |  63 | 我愛吃                     | 2008-06-30 14:58:37 |
| 76 | 蘋果     |  15 | 好吃                       | 2008-06-30 14:58:37 |
+----+----------+-----+----------------------------+---------------------+
19 rows in set (0.00 sec)

現在是達到了目的了，為啥中途要幹掉唯一索引呢？因為set 文法 再有IGNORE 的時候會忽略掉。