標籤:des blog http io ar os 使用 sp for
本文轉自:http://blog.csdn.net/yanhui_wei/article/details/21530811
這幾天在幫一些同學處理問題的時候,突然發現這些同學是使用file_get_contents()函數來採集頁面內容的,貌似都沒有curl的概念亦或是對這種工具特別不敏感,
本文我來給大家詳細介紹下cURL的簡單的使用方法,下文我將會給大家詳細介紹cURL的進階應用程式,
好,廢話不多說,我們先來認識下什麼是cURL,可能還有很多同學沒有聽說過這個工具,我先來給大家簡單介紹下什麼是cURL:
cURL可以使用URL的文法類比瀏覽器來傳輸資料,
因為它是類比瀏覽器,因此它同樣支援多種協議,
FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等協議都可以很好的支援,包括一些:
HTTPS認證,HTTP POST方法,HTTP PUT方法,FTP上傳,keyberos認證,HTTP上傳,Proxy 伺服器,cookies,使用者名稱/密碼認證,
下載檔案斷點續傳,上傳檔案斷點續傳,httpProxy 伺服器管道,甚至它還支援IPv6,scoket5Proxy 伺服器,通過httpProxy 伺服器上傳檔案
到FTP伺服器等等。
這就是我們為什麼要使用cURL的原因!
使用cURL完成簡單的請求主要分為以下四步:
1.初始化,建立一個新cURL資源
2.設定URL和相應的選項
3.抓取URL並把它傳遞給瀏覽器
4.關閉cURL資源,並且釋放系統資源
我們來採集一個頁面,通常情況下,我們會使用file_get_contents()函數來擷取:
像這樣:
- <?php
-
- $str = file_get_contents(‘http://bbs.lampbrother.net‘);
-
- //或者是:
-
- $str = file("http://bbs.lampbrother.net");
-
- //或者是:
-
- readfile("http://bbs.lampbrother.net");
-
- ?>
這樣我們會發現,我們沒有辦法有效地進行錯誤處理,更重要的是我們沒有辦法完成一些高難度的任務:
如:處理cookies,驗證,表單提交,檔案上傳等等。
好,現在我們來用程式碼完成上述cURL的四步:
- <?php
-
- //1.初始化,建立一個新cURL資源
-
- $ch = curl_init();
-
- //2.設定URL和相應的選項
-
- curl_setopt($ch, CURLOPT_URL, "http://www.lampbrother.net/");
-
- curl_setopt($ch, CURLOPT_HEADER, 0);
-
- //3.抓取URL並把它傳遞給瀏覽器
-
- curl_exec($ch);
-
- //4.關閉cURL資源,並且釋放系統資源
-
- curl_close($ch);
-
- ?>
上述四步中,其中第二步最為關鍵,可以設定一些進階選項:
例如上例中的CURLOPT_URL和CURLOPT_HEADER,分別代表“需要擷取的URL地址”和“啟用時會將標頭檔的資訊作為資料流輸出”,這些只是冰山一角,我們還可以設定很多選項:
| 選項 |
可選value值 |
備忘 |
| CURLOPT_AUTOREFERER |
當根據Location:重新導向時,自動化佈建header中的Referer:資訊。 |
|
| CURLOPT_BINARYTRANSFER |
在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。 |
|
| CURLOPT_COOKIESESSION |
啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,預設狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷伺服器端的session是否有效而存在的cookie。 |
|
| CURLOPT_CRLF |
啟用時將Unix的分行符號轉換成斷行符號分行符號。 |
|
| CURLOPT_DNS_USE_GLOBAL_CACHE |
啟用時會啟用一個全域的DNS緩衝,此項為安全執行緒的,並且預設啟用。 |
|
| CURLOPT_FAILONERROR |
顯示HTTP狀態代碼,預設行為是忽略編號小於等於400的HTTP資訊。 |
|
| CURLOPT_FILETIME |
啟用時會嘗試修改遠程文檔中的資訊。結果資訊會通過curl_getinfo()函數的CURLINFO_FILETIME選項返回。 curl_getinfo(). |
|
| CURLOPT_FOLLOWLOCATION |
啟用時會將伺服器伺服器返回的"Location: "放在header中遞迴的返回給伺服器,使用CURLOPT_MAXREDIRS可以限定遞迴返回的數量。 |
|
| CURLOPT_FORBID_REUSE |
在完成互動以後強迫中斷連線,不能重用。 |
|
| CURLOPT_FRESH_CONNECT |
強制擷取一個新的串連,替代緩衝中的串連。 |
|
| CURLOPT_FTP_USE_EPRT |
啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設定為FALSE時禁用EPRT和LPRT,使用PORT命令 only. |
|
| CURLOPT_FTP_USE_EPSV |
啟用時,在FTP傳輸過程中回複到PASV模式前首先嘗試EPSV命令。設定為FALSE時禁用EPSV命令。 |
|
| CURLOPT_FTPAPPEND |
啟用時追加寫入檔案而不是覆蓋它。 |
|
| CURLOPT_FTPASCII |
CURLOPT_TRANSFERTEXT的別名。 |
|
| CURLOPT_FTPLISTONLY |
啟用時只列出FTP目錄的名字。 |
|
| CURLOPT_HEADER |
啟用時會將標頭檔的資訊作為資料流輸出。 |
|
| CURLINFO_HEADER_OUT |
啟用時追蹤控制代碼的請求字串。 |
從 PHP 5.1.3 開始可用。CURLINFO_首碼是故意的(intentional)。 |
| CURLOPT_HTTPGET |
啟用時會設定HTTP的method為GET,因為GET是預設是,所以只在被修改的情況下使用。 |
|
| CURLOPT_HTTPPROXYTUNNEL |
啟用時會通過HTTP代理來傳輸。 |
|
| CURLOPT_MUTE |
啟用時將cURL函數中所有修改過的參數恢複預設值。 |
|
| CURLOPT_NETRC |
在串連建立以後,訪問~/.netrc檔案擷取使用者名稱和密碼資訊串連遠端站台。 |
|
| CURLOPT_NOBODY |
啟用時將不對HTML中的BODY部分進行輸出。 |
|
| CURLOPT_NOPROGRESS |
啟用時關閉curl傳輸的進度條,此項的預設設定為啟用。
Note:
PHP自動地設定這個選項為TRUE,這個選項僅僅應當在以調試為目的時被改變。
|
|
| CURLOPT_NOSIGNAL |
啟用時忽略所有的curl傳遞給php進行的訊號。在SAPI多線程傳輸時此項被預設啟用。 |
cURL 7.10時被加入。 |
| CURLOPT_POST |
啟用時會發送一個常規的POST請求,類型為:application/x-www-form-urlencoded,就像表單提交的一樣。 |
|
| CURLOPT_PUT |
啟用時允許HTTP傳送檔案,必須同時設定CURLOPT_INFILE和CURLOPT_INFILESIZE。 |
|
| CURLOPT_RETURNTRANSFER |
將curl_exec()擷取的資訊以檔案流的形式返回,而不是直接輸出。 |
|
| CURLOPT_SSL_VERIFYPEER |
禁用後cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設定認證使用CURLOPT_CAPATH選項設定認證目錄 如果CURLOPT_SSL_VERIFYPEER(預設值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設定成TRUE否則設定為FALSE。 |
自cURL 7.10開始預設為TRUE。從cURL 7.10開始預設綁定安裝。 |
| CURLOPT_TRANSFERTEXT |
啟用後對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文字資訊而非HTML。在Windows系統上,系統不會把STDOUT設定成binary模式。 |
|
| CURLOPT_UNRESTRICTED_AUTH |
在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加使用者名稱和密碼資訊,即使網域名稱已發生改變。 |
|
| CURLOPT_UPLOAD |
啟用後允許檔案上傳。 |
|
| CURLOPT_VERBOSE |
啟用時會彙報所有的資訊,存放在STDERR或指定的CURLOPT_STDERR中。 |
|
對於下面的這些option的選擇性參數,value應該被設定一個integer類型的值:
| 選項 |
可選value值 |
備忘 |
| CURLOPT_BUFFERSIZE |
每次擷取的資料中讀入緩衝的大小,但是不保證這個值每次都會被填滿。 |
在cURL 7.10中被加入。 |
| CURLOPT_CLOSEPOLICY |
不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支援。 |
|
| CURLOPT_CONNECTTIMEOUT |
在發起串連前等待的時間,如果設定為0,則無限等待。 |
|
| CURLOPT_CONNECTTIMEOUT_MS |
嘗試串連等待的時間,以毫秒為單位。如果設定為0,則無限等待。 |
在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。 |
| CURLOPT_DNS_CACHE_TIMEOUT |
設定在記憶體中儲存DNS資訊的時間,預設為120秒。 |
|
| CURLOPT_FTPSSLAUTH |
FTP驗證方式:CURLFTPAUTH_SSL (首先嘗試SSL),CURLFTPAUTH_TLS (首先嘗試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。 |
在cURL 7.12.2中被加入。 |
| CURLOPT_HTTP_VERSION |
CURL_HTTP_VERSION_NONE (預設值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。 |
|
| CURLOPT_HTTPAUTH |
使用的HTTP驗證方法,可選的值有:CURLAUTH_BASIC、CURLAUTH_DIGEST、CURLAUTH_GSSNEGOTIATE、CURLAUTH_NTLM、CURLAUTH_ANY和CURLAUTH_ANYSAFE。 可以使用|位域(或)操作符分隔多個值,cURL讓伺服器選擇一個支援最好的值。 CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM. CURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM. |
|
| CURLOPT_INFILESIZE |
設定上傳檔案的大小限制,位元組(byte)為單位。 |
|
| CURLOPT_LOW_SPEED_LIMIT |
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 |
|
| CURLOPT_LOW_SPEED_TIME |
當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 |
|
| CURLOPT_MAXCONNECTS |
允許的最大串連數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些串連。 |
|
| CURLOPT_MAXREDIRS |
指定最多的HTTP重新導向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。 |
|
| CURLOPT_PORT |
用來指定串連連接埠。(可選項) |
|
| CURLOPT_PROTOCOLS |
CURLPROTO_*的位域指。如果被啟用,位域值會限定libcurl在傳輸過程中有哪些可使用的協議。這將允許你在編譯libcurl時支援眾多協議,但是限制只是用它們中被允許使用的一個子集。預設libcurl將會使用全部它支援的協議。參見CURLOPT_REDIR_PROTOCOLS. 可用的協議選項為:CURLPROTO_HTTP、CURLPROTO_HTTPS、CURLPROTO_FTP、CURLPROTO_FTPS、CURLPROTO_SCP、CURLPROTO_SFTP、CURLPROTO_TELNET、CURLPROTO_LDAP、CURLPROTO_LDAPS、CURLPROTO_DICT、CURLPROTO_FILE、CURLPROTO_TFTP、CURLPROTO_ALL |
在cURL 7.19.4中被加入。 |
| CURLOPT_PROXYAUTH |
HTTP代理串連的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標誌來設定相應選項。對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支援。 |
在cURL 7.10.7中被加入。 |
| CURLOPT_PROXYPORT |
Proxy 伺服器的連接埠。連接埠也可以在CURLOPT_PROXY中進行設定。 |
|
| CURLOPT_PROXYTYPE |
不是CURLPROXY_HTTP (預設值) 就是CURLPROXY_SOCKS5。 |
在cURL 7.10中被加入。 |
| CURLOPT_REDIR_PROTOCOLS |
CURLPROTO_*中的位域值。如果被啟用,位域值將會限制傳輸線程在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重新導向時可使用的協議。這將使你對重新導向時限制傳輸線程使用被允許的協議子集預設libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預發布版本種無條件地跟隨所有支援的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS。 |
在cURL 7.19.4中被加入。 |
| CURLOPT_RESUME_FROM |
在恢複傳輸時傳遞一個位元組位移量(用來斷點續傳)。 |
|
| CURLOPT_SSL_VERIFYHOST |
1 檢查伺服器SSL認證中是否存在一個一般名稱(common name)。譯者註:一般名稱(Common Name)一般來講就是填寫你將要申請SSL認證的網域名稱 (domain)或子網域名稱(sub domain)。2 檢查一般名稱是否存在,並且是否與提供的主機名稱匹配。 |
|
| CURLOPT_SSLVERSION |
使用的SSL版本(2 或 3)。預設情況下PHP會自己檢測這個值,儘管有些情況下需要手動地進行設定。 |
|
| CURLOPT_TIMECONDITION |
如果在CURLOPT_TIMEVALUE指定的某個時間以後被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改過,並且CURLOPT_HEADER為true,則返回一個"304 Not Modified"的header, CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,預設值為CURL_TIMECOND_IFUNMODSINCE。 |
|
| CURLOPT_TIMEOUT |
設定cURL允許執行的最長秒數。 |
|
| CURLOPT_TIMEOUT_MS |
設定cURL允許執行的最長毫秒數。 |
在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。 |
| CURLOPT_TIMEVALUE |
設定一個CURLOPT_TIMECONDITION使用的時間戳記,在預設狀態下使用的是CURL_TIMECOND_IFMODSINCE。 |
|
對於下面的這些option的選擇性參數,value應該被設定一個string類型的值:
| 選項 |
可選value值 |
備忘 |
| CURLOPT_CAINFO |
一個儲存著1個或多個用來讓服務端驗證的認證的檔案名稱。這個參數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 . |
|
| CURLOPT_CAPATH |
一個儲存著多個CA認證的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。 |
|
| CURLOPT_COOKIE |
設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔,分號後帶一個空格(例如, "fruit=apple; colour=red")。 |
|
| CURLOPT_COOKIEFILE |
包含cookie資料的檔案名稱,cookie檔案的格式可以是Netscape格式,或者只是純HTTP頭部資訊存入檔案。 |
|
| CURLOPT_COOKIEJAR |
串連結束後儲存cookie資訊的檔案。 |
|
| CURLOPT_CUSTOMREQUEST |
使用一個自訂的請求資訊來代替"GET"或"HEAD"作為HTTP請求。這對於執行"DELETE" 或者其他更隱形HTTP請求。有效值如"GET","POST","CONNECT"等等。也就是說,不要在這裡輸入整個HTTP請求。例如輸入"GET /index.html HTTP/1.0 "是不正確的。
Note: 在確定伺服器支援這個自訂請求的方法前不要使用。
|
|
| CURLOPT_EGDSOCKET |
類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon通訊端。 |
|
| CURLOPT_ENCODING |
HTTP要求標頭中"Accept-Encoding: "的值。支援的編碼有"identity","deflate"和"gzip"。如果為空白字串"",要求標頭會發送所有支援的編碼類別型。 |
在cURL 7.10中被加入。 |
| CURLOPT_FTPPORT |
這個值將被用來擷取供FTP"POST"指令所需要的IP地址。"POST"指令告訴遠程伺服器串連到我們指定的IP地址。這個字串可以是純文字的IP地址、主機名稱、一個網路介面名(UNIX下)或者只是一個‘-‘來使用預設的IP地址。 |
|
| CURLOPT_INTERFACE |
網路發送介面名,可以是一個介面名、IP地址或者是一個主機名稱。 |
|
| CURLOPT_KRB4LEVEL |
KRB4 (Kerberos 4) 安全層級。下面的任何值都是有效(從低到高的順序):"clear"、"safe"、"confidential"、"private".。如果字串和這些都不匹配,將使用"private"。這個選項設定為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。 |
|
| CURLOPT_POSTFIELDS |
全部資料使用HTTP協議中的"POST"操作來發送。要傳送檔案,在檔案名稱前面加上@首碼並使用完整路徑。這個參數可以通過urlencoded後的字串類似‘para1=val1¶2=val2&...‘或使用一個以欄位名為索引值,欄位資料為值的數組。如果value是一個數組,Content-Type頭將會被設定成multipart/form-data。 |
|
| CURLOPT_PROXY |
HTTP代理通道。 |
|
| CURLOPT_PROXYUSERPWD |
一個用來串連到代理的"[username]:[password]"格式的字串。 |
|
| CURLOPT_RANDOM_FILE |
一個被用來產生SSL隨機數種子的檔案名稱。 |
|
| CURLOPT_RANGE |
以"X-Y"的形式,其中X和Y都是可選項擷取資料的範圍,以位元組計。HTTP傳輸線程也支援幾個這樣的重複項中間用逗號分隔如"X-Y,N-M"。 |
|
| CURLOPT_REFERER |
在HTTP要求標頭中"Referer: "的內容。 |
|
| CURLOPT_SSL_CIPHER_LIST |
一個SSL的密碼編譯演算法列表。例如RC4-SHA和TLSv1都是可用的加密列表。 |
|
| CURLOPT_SSLCERT |
一個包含PEM格式認證的檔案名稱。 |
|
| CURLOPT_SSLCERTPASSWD |
使用CURLOPT_SSLCERT認證需要的密碼。 |
|
| CURLOPT_SSLCERTTYPE |
認證的類型。支援的格式有"PEM" (預設值), "DER"和"ENG"。 |
在cURL 7.9.3中被加入。 |
| CURLOPT_SSLENGINE |
用來在CURLOPT_SSLKEY中指定的SSL私密金鑰的加密引擎變數。 |
|
| CURLOPT_SSLENGINE_DEFAULT |
用來做非對稱式加密操作的變數。 |
|
| CURLOPT_SSLKEY |
包含SSL私密金鑰的檔案名稱。 |
|
| CURLOPT_SSLKEYPASSWD |
在CURLOPT_SSLKEY中指定了的SSL私密金鑰的密碼。
Note: 由於這個選項包含了敏感的密碼資訊,記得保證這個PHP指令碼的安全。
|
|
| CURLOPT_SSLKEYTYPE |
CURLOPT_SSLKEY中規定的私密金鑰的加密類型,支援的密鑰類型為"PEM"(預設值)、"DER"和"ENG"。 |
|
| CURLOPT_URL |
需要擷取的URL地址,也可以在curl_init()函數中設定。 |
|
| CURLOPT_USERAGENT |
在HTTP請求中包含一個"User-Agent: "頭的字串。 |
|
| CURLOPT_USERPWD |
傳遞一個串連中需要的使用者名稱和密碼,格式為:"[username]:[password]"。 |
|
對於下面的這些option的選擇性參數,value應該被設定一個數組:
對於下面的這些option的選擇性參數,value應該被設定一個流資源 (例如使用fopen()):
對於下面的這些option的選擇性參數,value應該被設定為一個回呼函數名:
| 選項 |
可選value值 |
| CURLOPT_HEADERFUNCTION |
設定一個回呼函數,這個函數有兩個參數,第一個是cURL的資源控制代碼,第二個是輸出的header資料。header資料的輸出必須依賴這個函數,返回已寫入的資料大小。 |
| CURLOPT_PASSWDFUNCTION |
設定一個回呼函數,有三個參數,第一個是cURL的資源控制代碼,第二個是一個密碼提示符,第三個參數是密碼長度允許的最大值。返回密碼的值。 |
| CURLOPT_PROGRESSFUNCTION |
設定一個回呼函數,有三個參數,第一個是cURL的資源控制代碼,第二個是一個檔案描述符資源,第三個是長度。返回包含的資料。 |
| CURLOPT_READFUNCTION |
擁有兩個參數的回呼函數,第一個是參數是交談控制代碼,第二是HTTP回應標頭資訊的字串。使用此函數,將自行處理返回的資料。傳回值為資料大小,以位元組計。返回0代表EOF訊號。 |
| CURLOPT_WRITEFUNCTION |
擁有兩個參數的回呼函數,第一個是參數是交談控制代碼,第二是HTTP回應標頭資訊的字串。使用此回呼函數,將自行處理回應標頭資訊。回應標頭資訊是整個字串。設定傳回值為精確的已寫入字串長度。發生錯誤時傳輸線程終止。 |
看到了吧,只要在第二個函數之內設定這些選項就可以完成相應的功能,cURL的功能是灰常強大滴,大家可以嘗試一下哦!
例如,我們只想把擷取到的內容輸入到檔案,而不是直接輸出給瀏覽器,我們就可以使用CURLOPT_RETURNTRANSFER選項!
這樣在curl執行的時候,就會把頁面的內容輸出到檔案當中,我們就可以完成採集等功能啦!
效率方面,curl的原理是類比瀏覽器的操作,它的效率要比file_get_contents()高出四倍以上,試想一下,我們
要採集一個資訊量特別龐大的站,運行效率的差別可想而知!
不單單是效率上,穩定性上來說,curl也遠比file_get_contents()函數要好很多!
這就是強大的curl,下文將給大家詳細介紹它的進階應用程式,我們可以類比瀏覽器的post傳值,甚至上傳!
php中curl的詳細解說(轉載)