python 讀取大檔案越來越慢（判斷 key 在 map 中，千萬別用 in keys()）

標籤：解決   class   int   blog   自動   實戰   寫代碼   技術   key   

背景：

今天樂樂姐寫代碼，讀取一個四五百兆的檔案，然後做一串的處理。結果處理了一天還沒有出來結果。問題出在哪裡呢？

 

解決：

1. 樂樂姐列印了在不同時間點的時間，直接print time() 即可。發現一個規律，執行速度是越來越慢的。

2. 為什麼會越來越慢呢？

    1）可能原因1，GC 的問題，有篇文章裡面寫，python list append 的時候會越來越慢，解決方案是禁止GC:

使用 gc.disable（）和gc.enable（）

    2）改完上面，仍然不行，然後看到一篇文章裡面寫，可能是因為 git 導致的，因為append 的時候 git 會不斷同步，會出問題，於是刪除 .git 檔案夾，結果還是不行。

    3）繼續查詢，發下一個及其有可能出問題的地方。dict 的 in dict.key()，判斷 key 是否在 dict 裡面，這個的效率是非常低的。看到一篇文章比較了效率：
          ① 使用  in dict.keys() 效率:

 

          ② 使用 has_key()  效率: 發現 has_key() 效率比較穩定。於是修改，問題解決。  後話：最初的時候，的確是使用 has_key(), 結果後面上傳代碼的時候，公司代碼檢查過不了，提示不能使用這個函數，只能改成 in dict.key() 這種方式，為什麼公司不讓這麼傳呢？經過一番百度，發現原因所在：在 python3 中，直接將 has_key() 函數給刪除了，所以禁止使用。那禁止了該怎麼辦呢？原來 python 中 in 很智能，能自動判斷 key 是否在字典中存在。所以最正規的做法不是 has_key(),   更不是 in dict.keys(), 而是 in dict. 

附錄:

in、 in dict.keys()、 has_key() 方法實戰對比:

>>> a = {‘name‘:"tom", ‘age‘:10, ‘Tel‘:110}>>> a{‘age‘: 10, ‘Tel‘: 110, ‘name‘: ‘tom‘}>>> print ‘age‘ in aTrue>>> print ‘age‘ in a.keys()True>>>>>> print a.has_key("age")True

 

參考資料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

52160942

 

python 讀取大檔案越來越慢（判斷 key 在 map 中，千萬別用 in keys()）