php curl類比post請求提交資料_PHP教程

來源:互聯網
上載者:User
  最近在做校園圖書館圖書資訊的採集程式,既然是圖書館圖書的採集,肯定有提交搜尋的頁面,無非是post提交,讓我想到了curl類比提交,首先通過firebug進行抓包查詢下post提交後的格式如下:

txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm=%D2%F4%C0%D6&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=10&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7;搜尋的關鍵字name=txtTm,隨後代碼如下:

php $keyword="音樂";$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";$url = "http://210.30.68.130/wxjs/tmjs.asp";//查詢地址$ch = curl_init(); curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //類比來源  curl_setopt($ch, CURLOPT_URL, $url);//URL  curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);curl_setopt($ch, CURLOPT_HEADER, false);curl_setopt($ch, CURLOPT_POST, 1);  //類比POST  curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  curl_exec($ch);  $output = curl_close($ch); echo $output; ?>

但返回的頁面總是顯示沒有相關內容,如果把關鍵字改成英語或者數字就可以正常顯示了,於是想到這應該是編碼問題,然後在post上面可以看到txtTm=%D2%F4%C0%D6經過查詢得知這是url編碼,漢字會進行轉化,如果是英語則不會發生任何改變,於是就把頭資訊也加了部分內容進去如下:

$header = array();$header[] = 'User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0';$header[] = 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8';$header[] = 'Connection: keep-alive';$header[] = 'Content-Type:application/x-www-form-urlencoded';curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header ); 

其實主要是$header[] = 'Content-Type:application/x-www-form-urlencoded';再次載入頁面後如果是漢字顯示還是沒有相關的內容,隨後想到了一個很簡單的問題所在,php程式是utf8的,然而圖書館的網站是gb2312,好吧,再加上一句,$keyword = iconv('UTF-8', 'GB2312', $keyword);再次載入成功,這個應該才是問題關鍵所在,然後我把頭資訊刪除後添加一句$keyword = urlencode($keyword);再次載入也就是下面的代碼:

php $keyword="世界";$keyword =  iconv('UTF-8', 'GB2312', $keyword);$keyword = urlencode($keyword);$post="txtWxlx=CN&hidWxlx=spanCNLx&txtPY=HZ&txtTm={$keyword}&txtLx=%25&txtSearchType=1&nMaxCount=100&nSetPageSize=20&cSortFld=%D5%FD%CC%E2%C3%FB&B1=%BC%EC+%CB%F7";$url = "http://210.30.68.130/wxjs/tmjs.asp";//查詢地址$ch = curl_init();curl_setopt ($ch, CURLOPT_REFERER, "http://210.30.68.130/wxjs/tmjs_form.asp/ "); //類比來源  curl_setopt($ch, CURLOPT_URL, $url);//URL  curl_setopt($ch,CURLOPT_FOLLOWLOCATION,1);curl_setopt($ch, CURLOPT_HEADER, false);curl_setopt($ch, CURLOPT_POST, 1);  //類比POST  curl_setopt($ch, CURLOPT_POSTFIELDS, $post);//POST內容  curl_exec($ch);  $output = curl_close($ch); echo $output; ?>

不出所料,正常顯示了,隨後就是頁面內容的採集排版問題了。無非是正則了。(由於是校園網只能我們內網訪問)

http://www.bkjia.com/PHPjc/819719.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/819719.htmlTechArticle最近在做校園圖書館圖書資訊的採集程式,既然是圖書館圖書的採集,肯定有提交搜尋的頁面,無非是post提交,讓我想到了curl類比提交,...

  • 聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.