C#抓取AJAX頁面的內容

標籤：http   java   使用   檔案   問題   javascript   

原文 C#抓取AJAX頁面的內容

現在的網頁有相當一部分是採用了AJAX技術,所謂的AJAX技術簡單一點講就是事件驅動吧(當然這種說法可能很不全面),在你提交了URL後,伺服器發給你的並不是所有是頁面內容,而有一大部分是JS指令碼,即用<JAVASCRIPT標籤表示的,這其中有些是連結了外部的JS檔案,有些是內建的JS指令碼,這些指令碼是在用戶端載入了伺服器發回來的源碼後才執行的,所以不管是採用C#中的WebClient還是HttpRequest都得不到正確的結果,因為這些指令碼是在伺服器發送完畢後才執行的! 

但我們用IE瀏覽頁面時是正常的,所以解決方案只有1個就是採用WebBrowser控制項

但是使用Webbrowser你會發現,在DownloadComplete事件中,你根本無法知道頁面何時才算是真正的載入完畢!
當然個別有Frame的網頁可能會觸發多次Complete,即使你採用計數器的辦法,即在Navigated事件中++,而在DownloadComplete中做--,也仍然不能得到JS完成執行後的結果,我開始也感覺到非常奇怪,直到後來GG了相關AJAX的文章,明白了其中原委.

最終解決方案就是利用WebBrowser+Timer來解決抓取頁面的問題
而其中的關鍵仍然是頁面狀態,我們可以利用webBrowser1.StatusText,如果返回"完成",表示頁面載入完畢!

範例程式碼如下:
private void timer1_Tick(object sender, EventArgs e)
         {
             webBrowser1.Navigate(Url);
             if (webBrowser1.StatusText == "完成")
             {
                 timer1.Enabled = false;
                 //頁面載入完成,做一些其它的事
             }
       }