Linux下刪除大資料檔案中部分欄位重複的行

最近寫的一個資料擷取程式產生了一個含有1千多萬行資料的檔案，資料由4個欄位組成，按照要求需要刪除第二個欄位重複的行，找來找去linux下也沒找到合適的工具，sed/gawk等流處理工具只能針對一行一行處理，並無法找到欄位重複的行。看來只好自己python一個程式了，突然想起來利用mysql，於是進行乾坤大挪移：

1. 利用mysqlimport --local dbname data.txt匯入資料到表中，表名要與檔案名稱一致
2. 執行下列sql語句(要求唯一的欄位為uniqfield）

use dbname;

alter table tablename add rowid int auto_increment not null;

create table t select min(rowid) as rowid from tablename group by uniqfield;

create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;

drop table tablename;

rename table t2 to tablename;