資料擷取 - PHP採集逾時如何解決

我需要採集某網站的內容頁。先採集到連結，再通過連結擷取內容頁。但是，連結太多，一擷取就逾時，不得不按分類小量的擷取。而分類有近300多個。手動去設定分類，也很慢。如何才能自動的去擷取我想要的資料，而不會逾時？請指個思路，謝謝！

不好意思，是我沒說清楚。逾時是504 Gateway timeout。
設定set_time_limit沒用

這個問題已被關閉，原因：

回複內容：

我需要採集某網站的內容頁。先採集到連結，再通過連結擷取內容頁。但是，連結太多，一擷取就逾時，不得不按分類小量的擷取。而分類有近300多個。手動去設定分類，也很慢。如何才能自動的去擷取我想要的資料，而不會逾時？請指個思路，謝謝！

不好意思，是我沒說清楚。逾時是504 Gateway timeout。
設定set_time_limit沒用

為何用php,可以嘗試scrapy,很好用

504是網關逾時啊，你的Web伺服器崩了吧，你可以直接命令列運行php指令碼應該就沒有問題吧。還有你的伺服器用的是Apache還是Nginx？

唔，逾時？set_time_limit(0);可以讓指令碼一直運行~

可以修改php.ini的max_execution_time數值，或者按樓上說的，用set_time_limit 函數

採集在命令列執行,不會逾時 :)

