一個資料庫中資料求差集需求的處理過程

原始需求：db 1中有一批記錄，要求如果記錄在db 2 和 db 3中不存在，刪除db 1中的記錄

解決步驟：

     1. 執行指令碼，從DB中匯出id

rm ./id.txt
i=0
while(($i<100))
do
mysql -hxxx -uxxx -pxxx dbname --skip-column-names --default-character-set=utf8 -se "select id from t_xxx wherexxx" >>./id.txt;
i=$(($i+1))
done

2. 合并id

cat db2.txt >> merge.txt

cat db3.txt>> merge.txt

cat merge.txt | sort| uniq >> merge2.txt

3. 求差集，注意這句的意思，後面的檔案中的id，去掉前面檔案中存在的id

grep -F -v -f merge2.txt db1.txt >> result_delete.txt

4. 通過編輯工具把 result_delete.txt中的id變成sql用;和換行分開

insert into t_xxx (c_id) values ('xxxx1111ffff');
insert into t_xxx(c_id) values ('xxxx1111gggg');

執行sql，搞定

mysql -h10.6.207.60 -uuser_qqlive -pqqlive d_v_idx --skip-column-names --default-character-set=utf8 < test.sql