記使用sed的一次坑，記使用sed

記使用sed的一次坑，記使用sed

sed做為linux下的三劍客，自然功能強大，但是如果使用不當，反而適得其反，今天就因為這個命令采了很深坑，分析一下原因，以諫後來者。

 

情景回顧：

         項目中使用的一個python爬蟲採用的是多線程並發爬取，輸入為一個存放url的檔案，因為程式隨時可能停止，所以每次重啟程式的時候需要將以爬取過的url去除，實現思路如下：

 

但是這樣實現自動化的時候多有不便，一個程式就涉及五個檔案，在加上其他的邏輯，檔案眾多，用shell指令碼實現自動化寫出來的代碼可讀性差，不易理解，所以想重新更改一下策略。有一種思路就是在程式啟動的時候將文本讀入一個list，然後刪除掉處理完成的，程式關閉時將list寫入檔案，這樣看似輕鬆，但是常值內容過大，而且如果程式異常退出，就會丟失掉記憶體中list內容，幹了半天白乾了。

旁邊的一個小哥給了個建議，說是處理完就直接從Input中刪掉，這樣就不用再寫shell自動化了，程式重啟直接讀取input檔案就Ok了。

但是如何用python實現刪除檔案中指定的一行呐？總不能把檔案讀成列表，然後把那一行刪除，然後再寫迴文件。因為是個大檔案，這樣效率很低。尤其是在多線程並發的情況下這樣會導致大量IO，旁邊的小哥又獻策說可以用os.system('sed -i 1001d %s' % filename) 系統調用sed刪除該行，在無可奈何的情況下，一想這樣編碼也不是很簡單嗎？ 於是就欣然接收了這個提議，很快就實現了。

         程式運行起來後才發現不是自己想的那樣，自己還是沒有搞明白sed，

 

原理剖析：

sed 是一種線上流編輯器，它一次處理一行內容。處理時，把當前處理的行儲存在臨時緩衝區中，稱為“模式空間”（pattern space），接著用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往螢幕。接著處理下一行，這樣不斷重複，直到檔案末尾。檔案內容並沒有改變。Sed主要用來自動編輯一個或多個檔案；簡化對檔案的反覆操作；編寫轉換程式等。

使用-i選項可以直接在原檔案進行修改，他會將sed原本輸出到螢幕的內容輸出到一個以sed開頭的臨時檔案，處理完畢後他會將這個臨時檔案替換原本的檔案，如果啟動並執行時候出現錯誤，這個臨時檔案就不會被刪除，一直留在那裡。

而且在多個線程同時調用sed的時候，就會出現以下情況

線程B刪除了第二行但第一行並未刪除，當他處理完的時候替換原文本又會將第一行帶回去，這樣本來已經線上程A中刪除的第一行，現在又出現了，於是被下一個線程讀取處理，又被刪除，又被替換回來，這樣就造成一個迴圈，運行程式但並不能有效刪除處理完畢的行。

         sed固然強大，但是應該在直到其實現原理的情況下合理調用，避免在多線程情況下調用。