PHP curl實現抓取302跳轉後頁面的樣本_php執行個體

來源:互聯網
上載者:User
PHP的CURL正常抓取頁面程式如下:

$url = 'http://www.baidu.com';$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true);curl_setopt($ch, CURLOPT_NOBODY, true);curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);


如果你抓取到的是302狀態,是因為再抓取的過程中,有的跳轉需要給下一個連結傳遞參數,而下一個連結同時也設定了如果沒接收到相應的參數是為非法訪問。

curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');

顯示就應該正常了。

上面用來抓取功能,幾乎應該沒問題的。你可以查一下CURLOPT_CUSTOMREQUEST相關資料。

使用一個自訂的請求資訊來代替”GET”或”HEAD”作為HTTP請求。這對於執行”DELETE” 或者其他更隱形HTTP請求。有效值如”GET”,”POST”,”CONNECT”等等。也就是說,不要在這裡輸入整個HTTP請求。例如輸入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。

  • 聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.