網頁上通過ajax非同步載入的資料有什麼辦法抓取到嗎？

最近要到某網站上抓取一些資料，我到該網站上看了一下，發現我要抓取的資料是通過ajax非同步載入的，有什麼辦法可以抓取到嗎？我打算使用node.js或者php

回複內容：

最近要到某網站上抓取一些資料，我到該網站上看了一下，發現我要抓取的資料是通過ajax非同步載入的，有什麼辦法可以抓取到嗎？我打算使用node.js或者php

開發人員工具裡掃一眼請求的詳情，看看需不需要驗證（有些網站很二逼的，隨便你請求）。如果有任何驗證機制，那麼你就別費這個心了，爬蟲的幹活吧。

題主搜一搜headless browser，前端測試架構什麼的。

其實有很多方案，selenium，phantomjs，casperjs，qtwebkit等等等等

我們採用的是casperjs。把每個ajax請求完成後儲存網頁，放入隊列，這樣的話後面的剖析器就只要分析html就好了。

casperjs這貨和nodejs一起使用的時候時不時會有點小問題（我遇到的問題都不大，很好解決），如果不想麻煩，npm安裝spookyjs，據說就可以把casperjs作為node的模組來使用了。

當然，請求不複雜，無需驗證的話，直接觀察請求就可以了。

