libcurl多線程逾時設定不安全(轉)

標籤：網域名稱   jmp   html   這不   osi   多線程   set   支援   uil   

from http://www.cnblogs.com/kex1n/p/4135263.html

(1), 逾時(timeout)

libcurl 是 一個很不錯的庫，支援http，ftp等很多的協議。使用庫最大的心得就是，不仔細看文檔，僅僅看著例子就寫程式，是一件危險的事情。我的程式崩潰了，我 懷疑是自己代碼寫的問題，後來發現是庫沒用對。不仔細看文檔（有時候文檔本身也比較差勁，這時除了看仔細外，還要多動腦子，考慮它是怎麼實現的），後果很 嚴重。不加思索的使用別人的庫或者代碼，有時候很愜意，但是出問題時，卻是寢食難安的。 

1. CURLcode curl_global_init(long flags); 在多線程應用中，需要在主線程中調用這個函數。這個函數設定libcurl所需的環境。通常情況，如果不顯式的調用它，第一次調用 curl_easy_init()時，curl_easy_init 會調用 curl_global_init，在單線程環境下，這不是問題。但是多線程下就不行了，因為curl_global_init不是安全執行緒的。在多個線 程中調用curl_easy_int，然後如果兩個線程同時發現curl_global_init還沒有被調用，同時調用 curl_global_init，悲劇就發生了。這種情況發生的機率很小，但可能性是存在的。

2. libcurl 有個很好的特性，它甚至可以控制網域名稱解析的逾時。但是在預設情況下，它是使用alarm + siglongjmp 實現的。用alarm在多線程下做逾時，本身就幾乎不可能。如果只是使用alarm，並不會導致程式崩潰，但是，再加上siglongjmp，就要命了 （程式崩潰的很可怕，core中幾乎看不出有用資訊），因為其需要一個sigjmp_buf型的全域變數，多線程修改它。（通常情況下，可以每個線程一個 sigjmp_buf 型的變數，這種情況下，多線程中使用 siglongjmp 是沒有問題的，但是libcurl只有一個全域變數，所有的線程都會用）。

具體是類似 curl_easy_setopt(curl, CURLOPT_TIMEOUT, 30L) 的逾時設定，導致alarm的使用（估計發生在網域名稱解析階段），如前所述，這在多線程中是不行的。解決方式是禁用掉alarm這種逾時， curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1L)。

這樣，多線程中使用逾時就安全了。但是網域名稱解析就沒了逾時機制，碰到很慢的網域名稱解析，也很麻煩。文檔的建議是 Consider building libcurl with c-ares support to enable asynchronous DNS lookups, which enables nice timeouts for name resolves without signals. c-ares 是非同步 DNS 解決方案。

引自：http://gcoder.blogbus.com/logs/54871550.html

調用libcurl下載，然後使用netstat查看發現有大量的TCP串連保持在CLOSE_WAIT狀態
查看libcurl的文檔說明，有這樣一個選項：

CURLOPT_FORBID_REUSE

Pass a long. Set to 1 to make the next transfer explicitly close the connection when done. Normally, libcurl keeps all connections alive when done with one transfer in case a succeeding one follows that can re-use them. This option should be used with caution and only if you understand what it does. Set to 0 to have libcurl keep the connection open for possible later re-use (default behavior). 

也就是說，預設情況下libcurl完成一個任務以後，出於重用串連的考慮不會馬上關閉
如果沒有新的TCP請求來重用這個串連，那麼只能等到CLOSE_WAIT逾時，這個時間預設在7200秒甚至更高，太多的CLOSE_WAIT串連會導致效能問題

解決方案：


curl_easy_setopt(curl, CURLOPT_FORBID_REUSE, 1); 

最好再修改一下TCP參數調低CLOSE_WAIT和TIME_WAIT的逾時時間

libcurl多線程逾時設定不安全(轉)