Python錯誤提示：[Errno 24] Too many open files的分析與解決

標籤：/etc/   ges   限制   ulimit   關於   問題   new   nofile   too   

背景

最近在工作中發現了一個錯誤，在執行多線程掃描指令碼的時候頻繁出現下面這個錯誤

HTTPConnectionPool(host=‘t.tips‘, port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError(‘<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files‘,))

比較詭異...

分析

博主自己手上的一些小項目經常需要進行多線程的批量掃描來採集資料，像採集資料這種功能當然是線程越多越好了，所以通常情況下我都是使用 3000 個線程進行掃描，在確定頻寬充足，系統硬體設定夠高的情況下依然會出現上述問題，這就讓我想到是不是因為系統的限制問題。

通過搜尋引擎我找到了關於系統限制的介紹，執行

$ ulimit -n1024

得到的結果是1024，系統限制為同時開啟1024個檔案，這顯然是太少了。

解決

這個問題的解決方案很簡單，直接修改下面的檔案

sudo vim /etc/security/limits.conf

最這個檔案的最後添加兩行代碼

* soft nofile 10240* hard nofile 10240

當然這個數字根據自己的需要進行修改即可，儲存後登出重新登入就好了。

Python錯誤提示：[Errno 24] Too many open files的分析與解決