使用curl_setopt抓取百度,百度圖片防盜有什麼好的辦法?
$url = "http://www.baidu.com/s?wd=csdn";
$header = array (
'User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.146 Safari/537.36'
);
$ch = curl_init ();
$timeout = 10;
curl_setopt ( $ch, CURLOPT_URL, $url );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header );
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT,$timeout);
$content = curl_exec ( $ch );
if ($content == FALSE) {
echo "error:" . curl_error ( $ch );
}
curl_close ( $ch );
echo $content;
------解決思路----------------------
偽造referer url
------解決思路----------------------
1樓已經說的很清楚了。
------解決思路----------------------
你要明白,圖片展示的時候,不是php的curl請求了,而是瀏覽器發的請求。瀏覽器發的請求,你當前url是什麼網域名稱比如www.devtest.com,那麼圖片的refer就是什麼。所以肯定看不到圖片。
有一種做法就是,所有百度的圖片,你替換成訪問自己寫的一個php比如url/image.php?baidu_url=******,*****就是真實的圖片地址,然後你的image.php在調用curl並加上refer去抓取。
------解決思路----------------------
http://i7.baidu.com/it/u=1366412274,1504179524&fm=96&s=E840F41219BFE0C844FC8DCA0300F0B3
你是不能用代碼直接存取到的(403錯)
但你帶上訪問 http://www.baidu.com/s?wd=csdn 時得到的 cookie 就可以用代碼訪問到了