爬蟲如何抓取到asp.net中-dopostback擷取新頁面的資料
來源:互聯網
上載者:User
在Web 2.0時代,很多網站採用AJAX技術實現,帶來較好使用者體驗的代價是,Javascript得到的內容搜尋引擎無法爬到,Google也正在研究此種技術。本文討論Asp.Net程式產生的連結,爬蟲如何能爬進去的問題。
問
題:某網站出現的資料列表分頁顯示,而上一頁和下一頁都是用__doPostBack提交到幕後處理,如
javascript:__doPostBack(ucInfoListMore$gridInfoList$_ctl21$_ctl1,),我們根本得
不到他絕對連結的地址,而且每一頁得下一頁傳入的參數是一樣的。
分析:我們首先理解__doPostBack做了哪些事情。
function __doPostBack(eventTarget, eventArgument) {
var theform;
if (window.navigator.appName.toLowerCase().indexOf("netscape") > -1) {
theform = document.forms["Form1"];//注意此處的FormID
} else {
theform = document.Form1;//還有此處
}
theform.__EVENTTARGET.value = eventTarget.split("$").join(":");
theform.__EVENTARGUMENT.value = eventArgument;
theform.submit();
}
明
白了吧,問題就在.__EVENTTARGET(幕後處理的事件)和__EVENTARGUMENT上。這樣就簡單了,我們可以給這兩個參數賦值,然後向
後台發送Post就可以了。那麼如何指定某一頁呢,Asp.Net在後台是以Session方式儲存當前頁資訊的,我們在Post得時候能夠保證實在同一
個會話中進行的就可以了。