抓取源碼 - php有沒有功能完整的網頁資料擷取開源項目呢

請問有沒有開源的工具來採集網頁的資料

比如要包含連續規則抓取，例如先抓取分頁資訊，從中擷取詳情頁，從詳情頁抓取真正需要的dom欄位

包含最後自訂存到資料庫，

包含可以偽造ip等

包含自動隊列機制，自動延遲

等等

謝謝

回複內容：

請問有沒有開源的工具來採集網頁的資料

比如要包含連續規則抓取，例如先抓取分頁資訊，從中擷取詳情頁，從詳情頁抓取真正需要的dom欄位

包含最後自訂存到資料庫，

包含可以偽造ip等

包含自動隊列機制，自動延遲

等等

謝謝

有，你可以試試【神箭手雲爬蟲開發平台。】
神箭手雲爬蟲是一個協助JS開發人員快速開發爬蟲系統的SaaS服務平台。神箭手提供上手簡單，靈活開放的雲爬蟲開發架構，讓開發人員只需要線上寫幾行js代碼就可以實現一個爬蟲。並且爬蟲將自動運行在雲端服務器上，爬取速度更快，效率更高。

phpcrawler,php爬蟲,php採集器,多進程,多線程

phpQuery

