網路爬蟲如何抓取web2.0 Ajax頁面

AJAX，也就是Asychronous Javascript and XML，由於採用了Javascript驅動的非同步請求/響應機制，以往的爬蟲們缺乏Javascript語義上的理解，基本上是無法類比觸發Javascript的非同步呼叫並解析返回的非同步回調邏輯和內容。

另外AJAX的應用中，Javascript會對DOM結構進行大量地變動,甚至頁面所有的內容都是通過Javascript直接從伺服器端讀取並動態繪製出來.這個對於”習慣了”DOM結構相對不變的靜態頁面,簡直是無法理解的.

由此可以看出,以往的爬蟲是基於協議驅動的,而對於AJAX這樣的技術，所需要的“爬蟲”引擎必須是基於事件驅動的。要實現事件驅動，首先需要解決下面幾點問題

●Javascript的互動分析和解釋

●DOM事件的處理和解釋分發

●動態DOM內容語義的抽取

至於具體如何去實現，個人覺得Crawling Ajax-driven Web 2.0 Applications這篇論文很有參考價值。有興趣地可以研究研究。