javascript - 怎麼使用CasperJs抓取網頁？

在知乎上看到有個php爬蟲的思路是這樣寫的：

• pcntl_fork或者swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。

• curl實現頁面抓取，設定cookie可以實現類比登入 simple_html_dom 實現頁面的解析和DOM處理

• 如果想要類比瀏覽器，可以使用casperJS。用swoole擴充封裝一個服務介面給PHP層調用

• 在多玩網這裡有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。

第1、2點可以弄，當然我不用swoole。第3點中的casperJS不太懂，怎樣用啊？

回複內容：

在知乎上看到有個php爬蟲的思路是這樣寫的：

• pcntl_fork或者swoole_process實現多進程並發。按照每個網頁抓取耗時500ms，開200個進程，可以實現每秒400個頁面的抓取。

• curl實現頁面抓取，設定cookie可以實現類比登入 simple_html_dom 實現頁面的解析和DOM處理

• 如果想要類比瀏覽器，可以使用casperJS。用swoole擴充封裝一個服務介面給PHP層調用

• 在多玩網這裡有一套爬蟲系統就是基於上述技術方案實現的，每天會抓取幾千萬個頁面。

第1、2點可以弄，當然我不用swoole。第3點中的casperJS不太懂，怎樣用啊？

你可以看它的文檔。這裡有例子http://docs.casperjs.org/en/latest/quickstart.html

簡單講casperjs是基於phantomjs的script， 類比瀏覽器的意思是它不需要瀏覽器來渲染頁面，但是也可以來navigate, 對DOM進行操作什麼的

