php CURL擷取cookies類比登入的方法代碼執行個體

利用PHP的curl函數實現類比登入的方法。

要提取google搜尋的部分資料，發現google對於軟體抓取它的資料屏蔽的厲害，以前偽造下 USER-AGENT 就可以抓資料，但是現在卻不行了。利用抓包資料發現，Google 判斷了 cookies，當你沒有cookies的時候，直接返回 302 跳轉，而且是連續幾十個302跳轉，根本抓不了資料。
因此，在發送搜尋命令時，需要先提取 cookies 並儲存，然後利用儲存下來的這個cookies再次發送搜尋命令即可正常抓資料了。這其實和論壇的類比登入一個道理，先POST登入，擷取cookies並儲存，然後利用這個cookies訪問就可以了。
PHP 代碼如下：

代碼如下:

<?phpheader('Content-Type: text/html; charset=utf-8');$cookie_file = dirname(FILE).'/cookie.txt';//$cookie_file = tempnam("tmp","cookie");//先擷取cookies並儲存$url = "http://www.google.com.hk";$ch = curl_init($url); //初始化curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字串，而非直接輸出curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //儲存cookiescurl_exec($ch);curl_close($ch);//使用上面儲存的cookies再次訪問$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";$ch = curl_init($url);curl_setopt($ch, CURLOPT_HEADER, 0);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面擷取的cookies$response = curl_exec($ch);curl_close($ch);echo $response;?>